[論文レビュー] On Estimation and Selection for Topic Models

Matthew A. Taddy|arXiv (Cornell University)|Sep 21, 2011

Bayesian Methods and Mixture Models参考文献 27被引用数 82

ひとこと要約

本稿では、潜在変数の再パrameterizationとブロック対角ラプラシアン近似を用いて周辺尤度を推定することで、計算効率を向上させ、モデル選択を改善する、トピックモデルの連合MAP推定フレームワークを提案する。この手法により、高速でスケーラブルな推論が可能となり、トピック数のデフォルト選択手法を提供する。実世界のテキストデータにおいて、変分EM法やギブスサンプリングよりも精度と収束速度に優れる。

ABSTRACT

This article describes posterior maximization for topic models, identifying computational and conceptual gains from inference under a non-standard parametrization. We then show that fitted parameters can be used as the basis for a novel approach to marginal likelihood estimation, via block-diagonal approximation to the information matrix,that facilitates choosing the number of latent topics. This likelihood-based model selection is complemented with a goodness-of-fit analysis built around estimated residual dispersion. Examples are provided to illustrate model selection as well as to compare our estimation against standard alternative techniques.

研究の動機と目的

• 高次元の潜在変数の拡張を回避する、計算的に効率的で概念的に整合性のある標準的なトピックモデル推定の代替手法を開発すること。
• トピックモデルにおける潜在トピック数（K）のデフォルト手法の欠如を解決すること。
• 変分EM法やギブスサンプリングなどの既存手法と比較して、推定精度と収束速度を向上させること。
• 情報行列のブロック対角近似を用いて尤度に基づくモデル選択基準を提供すること。
• 残差分散の推定によりモデルの適合度を評価し、トピッククラスタリングを超える過分散を特定すること。

提案手法

• トピック分布（θ）とドキュメント-トピック重み（ω）の両方に対する連合後確率最大化を実行し、計算安定性を向上させるためにモデルを再パラメータライズする。
• 各ドキュメントのωiを二次計画法で更新し、θkを勾配上昇法で更新する交互更新を繰り返すブロックリラクゼーションアルゴリズムを採用する。
• 観測された情報行列に対するブロック対角ラプラシアン近似を適用し、周辺尤度を推定することでKの選択を可能にする。
• トピック構造によって説明されない過分散を考慮するため、適合度の指標として残差分散を推定する。
• 予測評価において、Dir(1/K)事前分布の下でωiの条件付きMAP推定を用いる。
• 各ドキュメントのωiの更新が独立しているため、並列化によりスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 トピックとドキュメント重みの連合MAP推定は、トピックモデルにおける計算効率と推定精度を向上させることができるか？
• RQ2 情報行列のブロック対角ラプラシアン近似は、周辺尤度の推定とトピック数の選択において信頼性がありスケーラブルな手法を提供できるか？
• RQ3 本手法は、収束速度、予測性能、推定品質の観点から、変分EM法やギブスサンプリングと比較してどのように異なるか？
• RQ4 残差分散は、トピッククラスタリング効果を超えるモデルの不適合度をどの程度反映しているか？
• RQ5 本手法は、数十万件のドキュメントと数万語の語彙を持つ大規模データセットに対しても、効率的にスケーリング可能か？

主な発見

• 連合MAP推定法は、変分EM法およびギブスサンプリングよりもホールドアウトデータにおける予測尤度が高く、収束も速かった。
• we8thereデータセットではK=20で周辺尤度が最大化され、Congres109データセットではK=12で同様の結果が得られ、有効な自動トピック選択が可能であることが示された。
• K=200でも残差分散の推定値は著しく1より上にあり、フレーズレベルの相関など、トピッククラスタリングを超える要因による過分散が存在することが示唆された。
• MAP推定は変分EM法よりも平均二乗誤差が低く、ギブスサンプリングよりも著しく低く、しかも変分EM法より少ない計算量で実行された。
• アルゴリズムは効率的にスケーリングでき、標準デスクトップ環境で20万件以上のドキュメントと1万語以上の語彙を扱い、20以上のトピックを10分未満で推定できた。
• congress109モデルの上位トピック語句は、強い政党対立を示しており、レピブリカンとデモクラットの明確なテーマが確認され、モデルの解釈可能性が裏付けられた。