[論文レビュー] Model Selection for Topic Models via Spectral Decomposition

Dehua Cheng, Xinran He+1 more|arXiv (Cornell University)|Oct 23, 2014

Bayesian Methods and Mixture Models参考文献 19被引用数 3

ひとこと要約

本稿は、2次モーメントのスペクトル分解を用いて、トピックモデルにおけるモデル選択の理論的根拠を提供する手法を提案する。弱い仮定の下で、実証的および真の2次モーメントを分析することにより、Latent Dirichlet Allocation (LDA)におけるトピック数 $K$ に対する証明可能な上界と下界を導出し、合成データ上で検証されたきめ細やかな計算可能な境界を提供する。この手法は、Gaussian Mixture Models (GMM) を含む他のモデルへ一般化可能である。

ABSTRACT

Topic models have achieved significant successes in analyzing large-scale text corpus. In practical applications, we are always confronted with the challenge of model selection, i.e., how to appropriately set the number of topics. Following recent advances in topic model inference via tensor decomposition, we make a first attempt to provide theoretical analysis on model selection in latent Dirichlet allocation. Under mild conditions, we derive the upper bound and lower bound on the number of topics given a text collection of finite size. Experimental results demonstrate that our bounds are accurate and tight. Furthermore, using Gaussian mixture model as an example, we show that our methodology can be easily generalized to model selection analysis for other latent models.

研究の動機と目的

• トピックモデルにおけるモデル選択という重要な課題、特にLDAにおける最適なトピック数 $K$ を特定することに取り組む。
• 実証的2次モーメントのスペクトル分解を用いて、$K$ に対する理論的根拠に基づいた計算可能な境界を提供すること。
• LDAにとどまらず、Gaussian Mixture Models (GMM) などの他の潜在混合モデルへこの手法を拡張すること。
• 計算コストが高く、理論的一貫性に欠ける、交差検証やAIC/BIC、MCMCベースの周辺尤度推定といった従来手法の限界を克服すること。
• 反復的なモデル選択を回避し、複数の $K$ 値に対して繰り返し実行を要しない、実用的で効率的な代替手法を提供すること。

提案手法

• 本手法は、文書コレクション内の単語共起統計から構築された、実証的2次モーメント行列 $\hat{\mathbf{M}}_2$ を分析する。
• 文書数 $D$、平均文書長 $L$、語彙サイズ $V$ といったコーパス統計量を用いて、$\hat{\mathbf{M}}_2 - \mathbf{M}_2$ の分散上界を導出する。
• 特異値にしきい値を適用したスペクトル分解を用いて、顕著な成分の数（真のトピック数 $K$ に対応）を同定する。
• 真のモーメント $\mathbf{M}_2$ のスペクトル構造と $\hat{\mathbf{M}}_2$ のその周囲への集中を分析することで、$K$ に対する理論的境界を導出する。
• 下界は、$\hat{\mathbf{M}}_2$ の特異値のうち、しきい値 $\delta_\mathbf{R}$ を超える数を数えることで得られ、上界は最大特異値に関する集中不等式を用いて導出される。
• データポイントの2次モーメントを分析することで、Gaussian Mixture Models への応用が可能となり、同様の成分数に関する上界と下界が導出される。

実験結果

リサーチクエスチョン

• RQ1 LDAにおける2次実証モーメントと真のトピック数の理論的関係は何か？
• RQ2 低次のモーメントのスペクトル分解を用いて、トピック数 $K$ に対する証明可能な上界と下界を導出できるか？
• RQ3 特に合成データ上で、有限標本設定におけるこれらの境界のきめ細かさと正確さはどの程度か？
• RQ4 提案手法は、LDAをはるかに超えて、Gaussian Mixture Models などの他の潜在混合モデルへ拡張可能か？
• RQ5 これらの境界が成り立つための主要な仮定は何か。また、それらは実用的適用性にどのように影響を与えるか？

主な発見

• 本稿は、集中不等式を用いて、実証的および真の2次モーメントの差のスペクトルノルムを制限することで、トピック数 $K$ に対する証明可能な上界を導出する。
• 下界は、$\hat{\mathbf{M}}_2$ の特異値のうち、しきい値 $\delta_\mathbf{R}$ を超える数を数えることで確立され、これはコーパスサイズと分散に依存する。
• 合成LDAデータセット上で、理論的境界がきめ細かく正確であることが示され、境界が真の $K$ に非常に近い。
• Gaussian Mixture Models に対しても同様の上界と下界が、データポイントの2次モーメントを用いて導出可能であり、一般化可能である。
• 境界はデータ統計量からのみ計算可能であり、複数の $K$ 値に対して繰り返し訓練を要しないため、大規模データに対して効率的である。
• 本手法は、AIC や BIC や交差検証といった従来のモデル選択基準の反復的でない、理論的根拠に基づいた代替手法を、トピックモデルの文脈で提供する。