[論文レビュー] Correlated Non-Parametric Latent Feature Models

Finale Doshi‐Velez, Zoubin Ghahramani|arXiv (Cornell University)|May 9, 2012

Bayesian Methods and Mixture Models参考文献 16被引用数 30

ひとこと要約

この論文は、潜在的特徴の間に依存関係を許容することで、インド・バッファート・プロセス（IBP）を拡張する相関のある非パラメトリックな潜在的特徴モデルを提案する。このフレームワークは階層的ガンマ過程とスティック・ブレイキング構成を用いて相関を誘導し、標準IBPと比較して実データ上で優れた性能を示す。

ABSTRACT

We are often interested in explaining data through a set of hidden factors or features. When the number of hidden features is unknown, the Indian Buffet Process (IBP) is a nonparametric latent feature model that does not bound the number of active features in dataset. However, the IBP assumes that all latent features are uncorrelated, making it inadequate for many realworld problems. We introduce a framework for correlated nonparametric feature models, generalising the IBP. We use this framework to generate several specific models and demonstrate applications on realworld datasets.

研究の動機と目的

• 実世界のデータでは特徴がしばしば共起するが、インド・バッファート・プロセス（IBP）は潜在的特徴が無相関であると仮定しているという限界を克服すること。
• 事前に特徴数を指定せずに、相関のある潜在的特徴を許容する非パラメトリックベイズ枠組みを構築すること。
• 階層的ガンマ過程を用いて特徴間の依存構造を導入することで、IBPを一般化すること。
• 特徴の相関が既知の実世界データセットにおいて、提案モデルの有効性を示すこと。
• 複雑で高次元なデータにおける特徴学習に適した柔軟性・スケーラビリティ・解釈可能性を備えたモデルを提供すること。

提案手法

• 階層的ガンマ過程を用いて特徴間の依存関係を誘導する相関のある非パラメトリックな潜在的特徴モデルを提案する。
• スティック・ブレイキング構成を用いて特徴の存在確率を定義し、特徴数に上限がないことを可能にする。
• ガンマ過程における共有ベース測度を通じて相関構造を導入し、特徴がより高い確率で共起するようにする。
• IBPの顧客ベースの比喩を一般化した中国レストラン・フランチャイズに類似したプロセスを導出し、特徴割り当てのサンプリングを可能にする。
• 効率的なギブスサンプリングによる後方推論を可能にするために、条件付き共役事前分布構造を用いる。
• 完全な後方分布計算を可能にする非パラメトリックベイズ推論フレームワークを用いて、実データセットにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴数の柔軟性を保ちつつ、相関のある特徴を許容する非パラメトリックな潜在的特徴モデルを構築できるか？
• RQ2 階層的ガンマ過程を用いて、非パラメトリックな設定下で潜在的特徴間の依存関係をどのようにモデル化できるか？
• RQ3 提案された相関モデルは、既知の特徴依存関係を持つ実世界データセットにおいて、標準IBPを上回る性能を示すか？
• RQ4 高次元データにおいて、特徴の相関がモデルのフィットと予測性能に与える影響は何か？
• RQ5 MCMC手法を用いた推論は、非パラメトリックなスケーラビリティを維持しながら計算的に実行可能か？

主な発見

• 提案された相関のある非パラメトリックモデルは、既知の特徴依存関係を持つデータセットにおいて、標準IBPと比較して顕著にフィットが向上した。
• このモデルは、遺伝子発現データーや画像データーセットなど、特徴が本質的に相関する実世界のデータにおける共起パターンをうまく捉えている。
• 実験結果から、ベンチマークデータセットにおいて、相関モデルはIBPよりも高い周辺尤度とより優れた予測性能を達成している。
• 階層的ガンマ過程の使用により、固定された特徴数を仮定せずに、柔軟かつ解釈可能な特徴相関モデリングが可能になった。
• ギブスサンプリングによる推論は計算的に実行可能であり、データサイズに応じて妥当にスケーリングされ、実用的導入を可能にしている。
• 共有ベース測度を介した非パラメトリックベイズ設定下での特徴依存関係の原理的モデリングを通じて、IBPが一般化された。