[論文レビュー] Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood

Kohei Hayashi, Shin‐ichi Maeda+1 more|arXiv (Cornell University)|Apr 22, 2015

Bayesian Methods and Mixture Models参考文献 18被引用数 7

ひとこと要約

本稿では、潜在変数モデル（LVM）における周辺対数尤度の漸近的に正確な近似として、一般化された要因分解情報基準（gFIC）を提案する。これは、元のFICが二値LVMに限定されていたのを、連続的および一般化されたLVMに拡張したものであり、FICの理論的枠組みを拡張することで、一回の走査で一貫したモデル選択が可能となる。gFICは、FICを変分自由エネルギーとして再解釈し、ヘッセ行列に基づくペナルティ項を導入することで、余分な潜在次元を自動で削除する。理論的分析とベイジアンPCAにおける数値実験により、有効性が検証された。

ABSTRACT

Factorized information criterion (FIC) is a recently developed approximation technique for the marginal log-likelihood, which provides an automatic model selection framework for a few latent variable models (LVMs) with tractable inference algorithms. This paper reconsiders FIC and fills theoretical gaps of previous FIC studies. First, we reveal the core idea of FIC that allows generalization for a broader class of LVMs, including continuous LVMs, in contrast to previous FICs, which are applicable only to binary LVMs. Second, we investigate the model selection mechanism of the generalized FIC. Our analysis provides a formal justification of FIC as a model selection criterion for LVMs and also a systematic procedure for pruning redundant latent variables that have been removed heuristically in previous studies. Third, we provide an interpretation of FIC as a variational free energy and uncover a few previously-unknown their relationships. A demonstrative study on Bayesian principal component analysis is provided and numerical experiments support our theoretical results.

研究の動機と目的

• 元の要因分解情報基準（FIC）に理論的欠落があること、特に二値潜在変数モデル（LVM）に限定されており、モデル選択のための形式的根拠が欠如していることに対処すること。
• FICを二値でない、連続的あるいは一般化されたLVMに一般化すること。これは、元のFICの形式が非二値または連続的潜在変数では適用不可能なため、複雑さペナルティが不適切となるためである。
• gFICの漸近的挙動を分析し、変分推論と自由エネルギーの原則と結びつけることで、FICが一貫したモデル選択基準として形式的に正当化される理論的基盤を提供すること。
• gFIC目的関数に従って、ヒューリスティックに依存しない、体系的な冗長潜在変数の削除手順を構築すること。これは、先行研究で使われていた恣意的な削除戦略に代わるものである。
• ベイジアンPCAにおける数値実験を通じて、gFICの実証的有効性を検証すること。BIC、VB、EMと比較して、一貫性と計算効率の両面で優れていることが示された。

提案手法

• gFICを、潜在変数の事後分布における期待対数尤度に加え、エントロピーとヘッセ行列に基づくペナルティ項を加えた、周辺対数尤度の新しい近似として定式化する。
• 各データポイントの負の対数尤度のモデルパラメータに関するヘッセ行列を用いてペナルティ項を導出する。これにより、特異モデルにおいても漸近的正確性が保証される。
• gFICを変分自由エネルギーとして再解釈することで、変分ベイズと正式に結びつけ、ペナルティ項がモデルの複雑さの尺度であるという、原理的解釈を提供する。
• gFAB（gFIC最適化手順）として、EMに類似した交互最適化手順を適用し、gFICを最大化することで、退化した潜在次元を自動で特定・削除する一回の走査によるモデル選択を実現する。
• ラプラス法を用いて周辺尤度を近似し、元のFICにおける離散的カウントに基づくペナルティを、フィッシャー情報行列を用いた連続的かつ幾何学的感度を持つペナルティに置き換える。
• 高次元の潜在空間から出発する一回の走査アルゴリズムを採用し、有効サンプルサイズが小さい次元をgFIC目的関数に従って逐次的に削除する。

実験結果

リサーチクエスチョン

• RQ1 特異な潜在変数モデルにおいて、FICが真の潜在次元を一貫して推定するための理論的条件は何か？
• RQ2 元のFICのカウントベースのペナルティが適用不可能な連続的および非二値潜在変数モデルに、FICをどのように一般化できるか？
• RQ3 FICと変分自由エネルギーの正式な関係は何か？この関係は、モデル選択と複雑さ正則化にどのように寄与するか？
• RQ4 gFICは、複数のK値について繰り返しモデル比較を必要としない、一貫性があり、一回の走査によるモデル選択手順を提供できるか？
• RQ5 ベイジアンPCAのような実世界のLVMにおいて、gFICはBIC、VB、EMと比較して、精度、安定性、計算コストの面でどの程度優れているか？

主な発見

• gFICは、連続的および特異的モデルを含む広範なLVMクラスについて、周辺対数尤度の漸近的に正確な近似を提供する。これは、元のFICの適用範囲をはるかに超える。
• gFICにおけるヘッセ行列に基づくペナルティ項は、正則性条件下で真の周辺尤度と一貫性を保つ。これにより、FICが有効なモデル選択基準として形式的に正当化される。
• gFICは変分自由エネルギーとして解釈可能であり、FICと変分推論の間に深い関係があることが明らかになる。これは、gFICの正則化挙動を説明する。
• ベイジアンPCAにおける数値実験では、gFAB（gFIC最適化アルゴリズム）がN≥500のとき真の潜在次元K=10を正確に回復し、EMおよびVB2よりも一貫性に優れている。
• gFABは、すべてのK値を評価する必要がなく、冗長次元を自動で削除することで、一回の走査によるモデル選択を実現する。これは、BICEMや標準VB手法とは対照的である。
• VB2は初期値に極めて敏感で、特にNが小さい場合に不安定になるが、gFABはNが増加するにつれて安定的かつ一貫性を保つ。