[論文レビュー] Scaling the Indian Buffet Process via Submodular Maximization

Colorado Reed, Zoubin Ghahramani|arXiv (Cornell University)|Apr 11, 2013

Bayesian Methods and Mixture Models参考文献 18被引用数 20

ひとこと要約

本稿では、インド・バンケット過程（IBP）事前分布を備えた線形ガウス型の潜在的特徴モデルに対する、スケーラブルな近似MAP推論手法MEIBPを提案する。最大化・期待値化（ME）フレームワークを用いて推論を部分的効用関数の最大化問題に再定式化し、グリーディー最適化による1/3近似保証を活用することで、データサイズに比例する線形スケーリングを達成。この手法は、解の品質において変分法を上回り、サンプリング手法よりも著しく高速である。

ABSTRACT

Inference for latent feature models is inherently difficult as the inference space grows exponentially with the size of the input data and number of latent features. In this work, we use Kurihara & Welling (2008)'s maximization-expectation framework to perform approximate MAP inference for linear-Gaussian latent feature models with an Indian Buffet Process (IBP) prior. This formulation yields a submodular function of the features that corresponds to a lower bound on the model evidence. By adding a constant to this function, we obtain a nonnegative submodular function that can be maximized via a greedy algorithm that obtains at least a one-third approximation to the optimal solution. Our inference method scales linearly with the size of the input data, and we show the efficacy of our method on the largest datasets currently analyzed using an IBP model.

研究の動機と目的

• 探索空間の指数的増大に起因するIBPモデルにおける正確な推論の計算的非実行可能性に対処すること。
• 大規模なIBPベースの行列分解モデル向けにスケーラブルな近似推論手法を開発すること。
• 部分的効用関数最適化を活用し、理論的近似保証を伴う効率的かつ近似的最適な解を得ること。
• 大規模データセットにおいて、既存の変分法およびサンプリングベースの推論手法よりも、解の品質と実行時間の両面で優れた性能を発揮すること。

提案手法

• 標準のEMアルゴリズムに代わって、最大化・期待値化（ME）フレームワークを用いてIBPモデルの近似MAP推論を定式化する。
• モデルの尤度に対する下界を提供する部分的効用関数を導出することで、効率的な最適化を可能にする。
• 元の関数に定数を加えることで、非負の部分的効用関数の最大化問題に推論問題を変換する。
• グリーディー法を用いて部分的効用関数を最大化し、最適解の少なくとも1/3の近似を保証する。
• データサイズに比例してスケーリング可能であり、大規模データセットに適している。
• モデルの性質を保持したまま数学的定式化を簡素化するため、バイナリ行列のシフト同値類を用いる。

実験結果

リサーチクエスチョン

• RQ1 部分的効用関数最適化は、IBPベースの潜在的特徴モデルにおける近似MAP推論に効果的に適用可能か？
• RQ2 提案手法MEIBPは、既存の推論手法と比較して、解の品質と計算効率のバランスに優れているか？
• RQ3 データサイズに比例してスケーリング可能でありながら、高品質な特徴抽出を維持できるか？
• RQ4 グリーディー法の1/3近似保証は、実際の状況において正確な推論やサンプリングベースの推論と比較してどのように評価されるか？

主な発見

• 目的関数の部分的効用性のおかげで、MEIBP手法は最適解の少なくとも1/3の近似を達成する。
• データポイント数に比例してスケーリング可能であり、これまでに解析された最大規模のIBPモデルデータセットに対しても効率的な推論が可能である。
• MEIBPは、変分法を上回るより優れた解に収束するが、最先端のサンプリング技術よりも著しく高速である。
• 合成データおよび実世界のデータセット（大規模な画像データを含む）の両方で、強力な経験的性能を示している。
• シフト同値類の使用により、数学的導出が簡素化されつつ、モデルの性能に影響を与えない。