[論文レビュー] Distance Dependent Infinite Latent Feature Models

Samuel J. Gershman, Peter I. Frazier+1 more|arXiv (Cornell University)|Oct 25, 2011

Bayesian Methods and Mixture Models参考文献 21被引用数 5

ひとこと要約

本稿では、距離に基づく特徴共有を組み込むことで、無限の潜在的特徴モデルを拡張するベイジアン非パラメトリック事前分布である距離依存インディアンバーガープロセス（dd-IBP）を導入する。2点間の距離（例：時間的・空間的）を特徴類似度としてモデル化することで、交換可能性を仮定しないデータ構造を捉えることが可能となり、欠損データの再構築や依存構造を有する時系列データのモデリングにおいて、標準IBPを上回る性能を発揮する。

ABSTRACT

Latent feature models are widely used to decompose data into a small number of components. Bayesian nonparametric variants of these models, which use the Indian buffet process (IBP) as a prior over latent features, allow the number of features to be determined from the data. We present a generalization of the IBP, the distance dependent Indian buffet process (dd-IBP), for modeling non-exchangeable data. It relies on distances defined between data points, biasing nearby data to share more features. The choice of distance measure allows for many kinds of dependencies, including temporal and spatial. Further, the original IBP is a special case of the dd-IBP. In this paper, we develop the dd-IBP and theoretically characterize its feature-sharing properties. We derive a Markov chain Monte Carlo sampler for a linear Gaussian model with a dd-IBP prior and study its performance on several non-exchangeable data sets.

研究の動機と目的

• 標準インディアンバーガープロセス（IBP）の限界、すなわち交換可能性を仮定し、データポイント間の依存関係をモデル化できないという点を是正すること。
• 定義された距離に基づいて近接するデータポイントがより多くの潜在的特徴を共有できるように、IBPの一般化を構築すること。
• 時間的・空間的依存関係が存在する潜在的特徴モデルにおけるベイジアン非パラメトリック推論を可能にすること。
• dd-IBPが時系列データやEEG信号などの構造的で交換可能性を欠くデータをモデリング・再構築する上で有効であることを示すこと。

提案手法

• データポイント間のペアワイズ距離に従って特徴共有を制御するバイナリ特徴行列に対する事前分布として、距離依存インディアンバーガープロセス（dd-IBP）を提案する。
• 各新しいデータポイントの特徴割り当てが、それまでのポイントとの距離に依存する逐次生成プロセスとしてdd-IBPを定義し、距離に指数関数的減衰関数を適用する。
• 線形ガウスモデルにdd-IBP事前分布を適用したマルコフ連鎖モンテカルロ（MCMC）サンプラーを導出することで、潜在的特徴およびハイパーパrameterの事後分布推論を可能にする。
• 距離依存の強度を制御するパrameter β を用いた減衰関数を導入し、時間的・空間的・共変量に基づく依存関係の柔軟なモデリングを可能にする。
• 欠損データの条件付き更新を用いたギブスサンプリングを適用し、時系列データにおける欠損観測の再構築を可能にする。
• MCMCサンプルから最大事後確率（MAP）推定値を用いて、再構築および特徴推論タスクにおけるモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 交換可能性を仮定せず、データポイントの近接度に基づいて特徴共有を可能にする非パラメトリック事前分布を開発できるか？
• RQ2 dd-IBPは、時系列データや空間相関のあるデータをモデリングする際、標準IBPと比較してどのように性能を発揮するか？
• RQ3 異なる距離尺度および減衰パrameter（β）の設定が、特徴推論およびデータ再構築に与える影響は何か？
• RQ4 dd-IBPは、EEG時系列などの交換可能性を欠くデータセットにおける欠損データの再構築を効果的に実行できるか？
• RQ5 dd-IBPの特徴共有行動は、階層ベータプロセス（dHBP）などの他の依存的特徴モデルとどのように異なるか？

主な発見

• dd-IBPは、さまざまな減衰パrameter設定下で、EEG時系列データにおける欠損データ再構築において標準IBPを顕著に上回り、二乗再構築誤差が低くなる。
• dd-IBPは時系列データの時間的依存関係を効果的に捉えており、減衰パrameter β を真の時間的構造に適合させることで性能が向上する。
• dd-IBPは、交換可能性を欠くデータから、少数の意味のある潜在的特徴を効果的に同定でき、複雑で依存関係を持つデータセットの隠れた構造を解明する能力を示している。
• dd-IBPの特徴共有行動は、階層ベータプロセス（dHBP）とは質的に異なる。dd-IBPは局所的で距離に基づく共有を促進するが、dHBPはよりグローバルな依存関係を誘発する。
• dd-IBPのMCMCサンプラーは1500イテレーション以内に収束し、安定した事後分布推定を提供するため、実用的応用において信頼性のある推論が可能である。
• 距離が一様または構造のない場合、dd-IBPは標準IBPの特殊ケースとして一般化され、非パラメトリック性を保ちつつ、構造的データへの柔軟性を付加する。