[論文レビュー] Restricting exchangeable nonparametric distributions

Sinead A. Williamson, Steve MacEachern+1 more|arXiv (Cornell University)|Sep 5, 2012

Gaussian Processes and Bayesian Inference参考文献 24被引用数 7

ひとこと要約

本論文は、インド・カフェティア・プロセス（IBP）のような既存モデルの定義域を制限することで、1データポイントあたりの特徴数の分布を明示的に制御する交換可能な非パラメトリック事前分布のクラスを提案する。特徴数の周辺分布を固定値や重たい尾を持つ分布に明示的に指定することで、元のIBPが特徴数をポアソン分布で仮定するため不適切なデータ（例えば、自然言語テキストにおけるべき乗則的語彙使用や、固定された特徴数を持つ画像データ）において、モデルの解釈可能性と予測性能が向上することを示している。合成画像およびテキストデータ上で実証されている。

ABSTRACT

Distributions over exchangeable matrices with infinitely many columns are useful in constructing nonparametric latent variable models. However, the distribution implied by such models over the number of features exhibited by each data point may be poorly-suited for many modeling tasks. In this paper, we propose a class of exchangeable nonparametric priors obtained by restricting the domain of existing models. Such models allow us to specify the distribution over the number of features per data point, and can achieve better performance on data sets where the number of features is not well-modeled by the original distribution.

研究の動機と目的

• 交換可能な非パラメトリックモデル（例：IBP）の限界に対処すること。特に、1データポイントあたりの特徴数がポアソン分布に従うと仮定する点に起因する問題を解決する。
• 1データポイントあたりの特徴数の周辺分布を明示的に指定できるフレームワークを構築すること。
• ポアソン仮定が不適切な状況（例：語彙使用がべき乗則的であるテキストデータ、固定された特徴数を持つ画像データ）において、モデルの性能と解釈可能性を向上させること。
• 交換可能な行列モデルにおける完全な確率測度の定義域を制限する、整合的な手法を提供すること。

提案手法

• 1データポイントあたりの特徴数の事前分布に制約を課すことにより、制限付きインド・カフェティア・プロセス（rIBP）を提案。デフォルトのポアソン周辺分布をユーザー指定の分布に置き換える。
• 実用的推論を可能とするために、特徴数を切り詰めた有限近似（例：100個まで）を用いる。
• ギブスサンプリングを用いて特徴割り当ておよびベータ過程のパラメータの事後分布推論を実施。制約付きパラメータにはメトロポリス・ハスティングス手順を適用。
• 重要度サンプリングを用いて、制限付きモデル下での予測分布を推定。重みは制限付きと非制限付き尤度の比から導出。
• ベータ過程の事後分布からの重み付きサンプルを用いて予測分布の近似を実装。重要度重み付けには式12を用いる。
• テキストデータにおける重たい尾を持つ特徴数をモデル化するため、標準IBPのポアソン仮定に代えて負の二項分布を用いる。

実験結果

リサーチクエスチョン

• RQ1 1データポイントあたりの特徴数の分布を制限することで、潜在的特徴モデルにおけるモデルの解釈性が向上するか？
• RQ2 特徴数の周辺分布をポアソン以外に制約することにより、実世界のデータにおける予測性能が向上するか？
• RQ3 既存の交換可能な非パラメトリックモデル（例：IBP）をどのように変更すれば、1データポイントあたりの特徴数に柔軟な制御を可能にするか？
• RQ4 制約付きパrameter空間を持つ制限付きモデルに対して、効果的な推論手法は何か？
• RQ5 分野固有の知識（例：1枚の画像に正確に2つの特徴がある）を特徴数に組み込むことで、再構成品質が向上するか？

主な発見

• 合成画像データにおいて、各データポイントに正確に2つの特徴が存在する場合、rIBPは真の潜在的特徴を効果的に回復し、標準IBPよりも再構成品質が優れている。
• 20 Newsgroupsテキストデータセットにおいて、rIBPに特徴数に負の二項分布を適用した場合、すべてのトップnラベル順位で標準IBPよりも分類精度が一貫して高かった。
• n=5のとき、rIBPは保留されたドキュメントの91.8％をトップ5の最も確信度の高いラベルに正しく分類したのに対し、標準IBPは87.8％であった。
• 重み付き事後分布サンプルを用いた重要度サンプリングにより、制限付きモデル下での予測分布の推定が正確に行えた。
• 分野固有の特徴数に関する知識を組み込むことで、より単純で解釈可能なモデルが得られることを示した。
• 結果から、IBPにおける特徴数のポアソン仮定が、自然言語テキストのような重たい尾を持つ特徴分布を持つデータに対しては最適でないことが確認された。