[論文レビュー] Thurstonian Boltzmann Machines: Learning from Multiple Inequalities

Truyen Tran, Dinh Phung+1 more|arXiv (Cornell University)|Aug 1, 2014

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 15

ひとこと要約

Thurstonian Boltzmann Machines (TBM) は、不等式制約によって制約される潜在連続変数を用いて、二値、カテゴリカル、順序、順位、打ち切り、区間、連続といった多様なデータ型を統合的にモデル化することで、それらを統一する。この手法は、観測値の代わりに不等式制約を用いるガウス型RBMフレームワークを活用し、スケーラブルで解釈可能なモデリングを可能にし、マルチモーダルかつ複雑なアンケートデータに対し、手書き数字認識、協調フィルタリング、社会的アンケート分析の分野で最先端の性能を発揮する。

ABSTRACT

We introduce Thurstonian Boltzmann Machines (TBM), a unified architecture that can naturally incorporate a wide range of data inputs at the same time. Our motivation rests in the Thurstonian view that many discrete data types can be considered as being generated from a subset of underlying latent continuous variables, and in the observation that each realisation of a discrete type imposes certain inequalities on those variables. Thus learning and inference in TBM reduce to making sense of a set of inequalities. Our proposed TBM naturally supports the following types: Gaussian, intervals, censored, binary, categorical, muticategorical, ordinal, (in)-complete rank with and without ties. We demonstrate the versatility and capacity of the proposed model on three applications of very different natures; namely handwritten digit recognition, collaborative filtering and complex social survey analysis.

研究の動機と目的

• 二値、カテゴリカル、順序、順位、打ち切り、区間、連続といった多様なデータ型を、一つの確率的枠組み内で統合的にモデル化すること。
• タイプ固有のボルツマンモデルの限界を克服するため、証拠を表すために潜在連続変数と不等式制約を用いること。
• 潜在変数上の共分散構造を共有することにより、異種のデータ型間の相関関係を自然にモデル化すること。
• 従来のボルツマンマシンの文脈でほとんど検討がなかった、複雑な社会的アンケート分析に対して、スケーラブルで汎用的かつ解釈可能なフレームワークを提供すること。
• 手書き数字認識、協調フィルタリング、社会的アンケート分析といった多様な分野において、モデルの汎用性と競争力を実証すること。

提案手法

• TBM は、可視層の観測値を、さまざまなデータ型から導出された不等式制約に置き換えることで、ガウス型RBMを拡張する。
• 各データ型は、1つ以上の潜在連続変数における不等式にマッピングされる：例えば、二値ユニットはしきい値化に対応し、カテゴリカル選択は最大効用制約に対応し、順位は順序付き不等式に対応する。
• エネルギー関数は、潜在ガウス変数と二値の隠れユニットに基づいて定義され、勾配ベースの最適化を用いて最尤推定によりパラメータが学習される。
• 不等式制約における非可解な積分を扱うために、ラプラス近似とモンテカルロサンプルを用いた推論と学習が実施される。
• 各データ型の制約を統一されたエネルギー関数に統合することで、別々のアーキテクチャを必要とせずに、混合データ型の共同学習が可能になる。
• 順位データの処理には、Gumbel分布に従う潜在的効用から導かれるPlackett-Luce分布が用いられ、選択確率の効率的計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのボルツマンマシンアーキテクチャが、二値、カテゴリカル、順序、順位といった多様なデータ型を統一的な枠組みで効果的にモデル化できるか？
• RQ2 潜在連続変数における不等式制約が、点観測の代わりに多様なデータ型を一般かつ柔軟に表現する手段として機能できるか？
• RQ3 TBM が、手書き数字認識や協調フィルタリングといった標準ベンチマークで、特別な設計を施さずに競争力のある性能を達成できるか？
• RQ4 TBM が、混合データ型と複雑な制約を含む、複雑な社会的アンケートデータに対して、スケーラブルかつ解釈可能なソリューションを提供できるか？
• RQ5 潜在変数と不等式制約の使用が、タイプ固有のモデルと比較して、モデルの解釈性と相関関係のモデル化をどの程度向上させるか？

主な発見

• TBM は、二値画像データを対象とした専用モデルと同等またはそれ以上の性能を示し、手書き数字認識で競争力のある結果を達成した。
• 協調フィルタリングのタスクにおいて、TBM は暗黙的フィードバックデータに対して優れた性能を示し、混合データ型におけるユーザーの好みを効果的にモデル化した。
• 複雑な社会的アンケート分析において、TBM は、順序、カテゴリカル、順位、打ち切り、区間データを含む混合データ型を統一的に扱える、スケーラブルで汎用的なモデルの先駆けとなった。
• 潜在変数と不等式制約の使用により、潜在空間における共分散構造の共有を通じて、異なるデータ型間の相関関係を自然にモデル化できるようになった。
• 理論的導出により、TBM は順位のためのPlackett-Luceモデルやカテゴリカル選択のためのGumbel-maxトリックを自然に回復することが示され、既存のフレームワークとの整合性が裏付けられた。
• 実験的評価により、TBM が多様なデータモダリティにわたって優れた一般化性能を示し、データタイプを切り替える際のアーキテクチャ再設計が不要であることが確認された。