[論文レビュー] Mixed-Variate Restricted Boltzmann Machines

Truyen Tran, Dinh Phung+1 more|arXiv (Cornell University)|Aug 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 32

ひとこと要約

本論文は、二値の潜在層を用いて相関関係を捉えることで、二値、カテゴリカル、マルチカテゴリカル、連続、順序、順位付き選好といった異種のデータ型を統合的にモデル化する混合変数制限ボルツマンマシン（MV.RBM）を提案する。このモデルは、効率的な推論を可能とし、次流のタスク（次元削減、分類、回帰、欠損値補完など）をマルチモーダルデータセットで実行可能である。

ABSTRACT

Modern datasets are becoming heterogeneous. To this end, we present in this paper Mixed-Variate Restricted Boltzmann Machines for simultaneously modelling variables of multiple types and modalities, including binary and continuous responses, categorical options, multicategorical choices, ordinal assessment and category-ranked preferences. Dependency among variables is modeled using latent binary variables, each of which can be interpreted as a particular hidden aspect of the data. The proposed model, similar to the standard RBMs, allows fast evaluation of the posterior for the latent variables. Hence, it is naturally suitable for many common tasks including, but not limited to, (a) as a pre-processing step to convert complex input data into a more convenient vectorial representation through the latent posteriors, thereby offering a dimensionality reduction capacity, (b) as a classifier supporting binary, multiclass, multilabel, and label-ranking outputs, or a regression tool for continuous outputs and (c) as a data completion tool for multimodal and heterogeneous data. We evaluate the proposed model on a large-scale dataset using the world opinion survey results on three tasks: feature extraction and visualization, data completion and prediction.

研究の動機と目的

• アンケートなど、二値、カテゴリカル、連続、順序、順位付き選好といった複数のタイプを含む、現実世界のデータセットにおける異種でマルチモーダルなデータのモデル化という課題に対処すること。
• 標準的な制限ボルツマンマシン（RBM）フレームワークを、二値以外の可視ユニットをサポートするように拡張し、高速な事後分布推論と解析的尤度評価を維持すること。
• 多様な機械学習タスク（特徴抽出、次元削減、分類、回帰、欠損値補完など）を、複雑で異種のデータに対して統合的表現学習フレームワークとして実現すること。
• 44か国、38,000人を超える回答者を含む大規模で現実世界のアンケートデータセットにおけるモデルの有効性を実証すること。

提案手法

• MV.RBMは、二値の隠れ層を用いたエネルギーに基づくモデルとして、異種の可視変数（二値、カテゴリカル、マルチカテゴリカル、連続、順序、順位）の同時分布をモデル化する。
• 各可視変数タイプは、エネルギー項 $ G_i(v_i) $ と隠れユニット $ h_k $ との相互作用 $ H_{ik}(v_i) $ を用いて特定の関数で符号化され、異なるデータタイプの柔軟なモデル化が可能になる。
• エネルギー関数は $ E(oldsymbol{v}, oldsymbol{h}) = -oldsymbol{v}^T oldsymbol{U} - oldsymbol{h}^T oldsymbol{w} - oldsymbol{v}^T oldsymbol{V} oldsymbol{h} $ として定義され、各変数モダリティに特化した成分が含まれる。
• 隠れユニットの事後分布推論は、シグモイド関数を用いた閉形式式によって計算され、高速かつ効率的な近似推論が可能になる。
• 欠損データや予測のため、真の事後分布を因子化分布で近似する平均場近似法 $ Q(v_i | oldsymbol{v}_{ eg C}) $ を用いる。
• 最大尤度推定を用いたエンドツーエンド学習が可能であり、パラメータは尤度の対数関数 $ rac{1}{N} abla rac{ abla heta}{ abla heta} abla heta $ に基づく勾配ベースの最適化手法で最適化される。

実験結果

リサーチクエスチョン

• RQ1 単一のRBMアーキテクチャが、二値、カテゴリカル、連続、順序、マルチカテゴリカル、順位付き選好といった複数のデータタイプを統一された確率的フレームワーク内で効果的にモデル化できるか？
• RQ2 複雑なアーキテクチャの変更を要せず、潜在二値層を用いて異種変数間の依存関係を効果的に捉える方法は何か？
• RQ3 MV.RBMが、さまざまなデータモダリティにわたって次元削減、特徴抽出、欠損値補完といった一般用途ツールとしてどの程度有効に機能するか？
• RQ4 国際的アンケートデータなど、混合応答タイプを持つ大規模で現実世界の異種データセットにおいて、モデルの性能はいかがなものか？
• RQ5 同じデータ上で複数の予測タスク（分類、回帰、順位付け）を共有する潜在表現を用いてマルチタスク学習を支援できるか？

主な発見

• MV.RBMは、二値、カテゴリカル、マルチカテゴリカル、連続、順序、カテゴリ順位付きの6つのデータタイプを、単一の統合的エネルギーに基づくフレームワーク内で効果的にモデル化した。
• シグモイド関数による閉形式計算により、隠れユニットの事後分布推論が高速に実行可能であり、特徴抽出や次元削減といったスケーラブルな応用に適している。
• 44か国、38,000人の回答者を含む世界意見調査データセットにおいて、MV.RBMは混合データタイプにわたる効果的なデータ補完と予測を達成し、高い性能を示した。
• MV.RBMの潜在事後分布は、複雑で異種のデータを意味のある低次元ベクトル表現として提供し、効果的な可視化と前処理を可能にした。
• 共有された隠れ表現を用いて、マルチクラス分類、マルチラベル予測、回帰、ラベル順位付けといった複数の学習タスクを同時に実行可能である。
• 欠損値補完のための平均場近似は数値的に効率的であり、特に観測セットが大きい場合に良好な精度を維持しており、連続変数のための簡素化された関数形が導入されている。