[論文レビュー] Expectation-Propogation for the Generative Aspect Model

Thomas P. Minka, John Lafferty|arXiv (Cornell University)|Dec 12, 2012

Topic Modeling参考文献 2被引用数 44

ひとこと要約

本稿では、生成的アスペクトモデルにおける期待誤差法（EP）に基づく推論手法を提案し、従来の変分推論における不正確さを是正する。EPをEMフレームワークに統合することで、同等の計算コストの範囲で推論精度を向上させ、学習バイアスを低減する。合成データおよび実世界のテキストデータセットを用いた検証により有効性が確認された。

ABSTRACT

The generative aspect model is an extension of the multinomial model for text that allows word probabilities to vary stochastically across documents. Previous results with aspect models have been promising, but hindered by the computational difficulty of carrying out inference and learning. This paper demonstrates that the simple variational methods of Blei et al (2001) can lead to inaccurate inferences and biased learning for the generative aspect model. We develop an alternative approach that leads to higher accuracy at comparable cost. An extension of Expectation-Propagation is used for inference and then embedded in an EM algorithm for learning. Experimental results are presented for both synthetic and real data sets.

研究の動機と目的

• 生成的アスペクトモデルにおける変分推論法の不正確さとバイアスを是正すること。
• 計算効率を維持しつつ、より正確な推論技術を開発すること。
• より良い事後分布近似を用いて、生成的アスペクトモデルにおけるパラメータ学習を改善すること。
• EPベースの推論が合成データおよび実際のテキストデータにおいて有効であることを示すこと。

提案手法

• 生成的アスペクトモデルにおける事後分布近似に、期待誤差法（EP）を適用し、標準的な変分推論に代わる手法を採用する。
• 潜在的アスペクトおよび語-トピック割り当ての近似事後分布を繰り返し改善するEPアルゴリズムを用いる。
• EMアルゴリズム内にEP推論ステップを統合し、完全データの対数尤度の期待値を交互に最大化することでモデルパラメータを最適化する。
• モーメントマッチングと局所的証拠近似を用いて、EPフレームワーク内での事後分布推定を改善する。
• 性能と頑健性の評価を目的として、合成データおよび実際のテキストコーパスに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 期待誤差法（EP）は、生成的アスペクトモデルにおいて、標準的な変分推論よりもより正確な事後分布近似を提供できるか？
• RQ2 EPベースのアプローチは、既存の手法と比較して、パラメータ学習におけるバイアスを低減できるか？
• RQ3 EPの計算コストは、変分推論と比較してどの程度か？ ただし、高い正確性を維持する前提で。
• RQ4 EP-EMフレームワークは、実世界のテキストデータから意味のあるアスペクトを効果的に学習できるか？

主な発見

• EPベースの推論は、変分推論法と比較して、パラメータ学習におけるバイアスを顕著に低減する。
• 本手法は、変分推論と同等の計算効率を維持しつつ、事後分布推定の正確性を高める。
• 合成データでは、EP-EMアプローチがベースライン手法よりも真のアスペクト構造をより忠実に回復する。
• 実際のテキストデータセットでは、尤度が向上し、近似誤差が低減する傾向を示す、整合性があり解釈可能なアスペクトが学習される。