[論文レビュー] Exploiting compositionality to explore a large space of model structures

Roger Grosse, Ruslan Salakhutdinov+2 more|arXiv (Cornell University)|Oct 16, 2012

Data Visualization and Analytics参考文献 36被引用数 33

ひとこと要約

本論文では、文脈自由文法と再利用可能な推論アルゴリズムのグリーディ探索を用いて、データから最適な行列分解モデルを体系的かつ自動的に発見する構成的文法ベースのアプローチを提案する。この手法により、階層的またはスパースな分解といった複雑なデータ駆動型構造を効率的に特定可能であり、ノイズ下でも滑らかに単純化され、画像、モーションキャプチャ、米国上院の投票記録といった多様なデータセットで一貫した高い性能を達成する。単一の統一されたコードベースで実装されている。

ABSTRACT

The recent proliferation of richly structured probabilistic models raises the question of how to automatically determine an appropriate model for a dataset. We investigate this question for a space of matrix decomposition models which can express a variety of widely used models from unsupervised learning. To enable model selection, we organize these models into a context-free grammar which generates a wide variety of structures through the compositional application of a few simple rules. We use our grammar to generically and efficiently infer latent components and estimate predictive likelihood for nearly 2500 structures using a small toolbox of reusable algorithms. Using a greedy search over our grammar, we automatically choose the decomposition structure from raw data by evaluating only a small fraction of all models. The proposed method typically finds the correct structure for synthetic data and backs off gracefully to simpler models under heavy noise. It learns sensible structures for datasets as diverse as image patches, motion capture, 20 Questions, and U.S. Senate votes, all using exactly the same code.

研究の動機と目的

• 与えられたデータセットに対して、膨大な数の可能性がある確率的モデル構造の中から適切なものを自動的に選択するという課題に取り組む。
• 主成分分析（PCA）、非負値行列分解（NMF）、確率的行列因子分解といった多様な教師なし学習モデルを、単一の構成的フレームワークで統合する。
• 小さなツールキットとして再利用可能なアルゴリズムを用いて、多様なモデル構造に対して効率的かつ汎用的な推論を実現する。
• すべての可能なモデル構造を全検索せずに、高パフォーマンスなモデルを特定する探索戦略を開発する。
• 一貫した実装を用いて、多様な実世界のデータセットにおいて、ロバストで柔軟な適応性を示すことを実証する。

提案手法

• 著者らは、因子分解、スパarsity、階層的構造といった少数の原始的演算から、行列分解モデルの巨大な空間を構成する文脈自由文法を定義する。
• 各モデル構造は文法によって生成され、解析木として表現され、モデル空間の体系的探索が可能になる。
• グリーディ探索戦略により、予測尤度に基づいてモデルが評価され、すべての構造に同じコードを再利用する汎用的推論アルゴリズムが使用される。
• 推論は変分ベイズまたは期待値最大化（EP）を用い、アルゴリズム的モジュールは再利用可能なモジュールとして抽象化される。
• 文法の構成的ルールに従って、すべての可能なモデルのうちわずかなサブセットのみを評価することで、最適なモデル構造を動的に選択する。
• モデルの複雑さと適合度のバランスを取ることでモデル選択が行われ、ノイズが高い状況では自動的に単純なモデルにフォールバックする。

実験結果

リサーチクエスチョン

• RQ1 構成的文法は、多様で巨大な行列分解モデルの空間を効果的に生成・探索できるか？
• RQ2 同じコードを再利用することで、まったく異なるモデル構造に対しても汎用的な推論フレームワークを構築できるか？
• RQ3 文法によって生成されたモデルのグリーディ探索は、生データから正しいまたは最適な構造を信頼性高く同定できるか？
• RQ4 本手法は、構造が異なる多様なデータセットに一般化して適応できるか？
• RQ5 データ品質が低いかノイズが高い状況では、単純なモデルに滑らかに劣化するか？

主な発見

• 合成データにおいて、真の構造が複雑で非自明な場合でも、本手法は正しくモデル構造を同定できた。
• 高ノイズ条件下では、自動的に単純なモデルを選択し、ロバストで滑らかな劣化を示した。
• 実世界のデータセット（画像パッチ、モーションキャプチャシーケンス、20質問ゲームの回答、米国上院の投票記録）において、解釈可能で意味のある構造を学習した。
• すべてのデータセットで同じコードベースと推論パイプラインが使用されたことから、本手法の汎用性と再利用可能性が裏付けられた。
• グリーディ探索戦略により、2,500以上の可能なモデル構造のうちわずかな割合しか評価しなかったが、効率的なモデル発見が達成された。
• ベンチマークデータセットにおいて、標準的なベースラインを上回るモデル選択の正確性を達成し、競争力のある予測尤度を示した。