[論文レビュー] A Spectral Algorithm for Latent Dirichlet Allocation

Animashree Anandkumar, Dean P. Foster+3 more|arXiv (Cornell University)|Apr 30, 2012

Bayesian Methods and Mixture Models参考文献 27被引用数 171

ひとこと要約

本稿では、三重および四重のモーメントテンソルを用いて、三重語統計のみで、Latent Dirichlet Allocation (LDA) のトピック-語分布およびディリクレ事前分布を正確に回復するスペクトル的手法、Excess Correlation Analysis (ECA) を提案する。この手法は、$k \times k$ 行列（$k$ はトピック数）における二つの特異値分解（SVD）に依存しており、反復的最適化を必要とせず、スケーラブルかつ証明可能に一貫したパラメータ推定を可能にする。

ABSTRACT

The problem of topic modeling can be seen as a generalization of the clustering problem, in that it posits that observations are generated due to multiple latent factors (e.g., the words in each document are generated as a mixture of several active topics, as opposed to just one). This increased representational power comes at the cost of a more challenging unsupervised learning problem of estimating the topic probability vectors (the distributions over words for each topic), when only the words are observed and the corresponding topics are hidden. We provide a simple and efficient learning procedure that is guaranteed to recover the parameters for a wide class of mixture models, including the popular latent Dirichlet allocation (LDA) model. For LDA, the procedure correctly recovers both the topic probability vectors and the prior over the topics, using only trigram statistics (i.e., third order moments, which may be estimated with documents containing just three words). The method, termed Excess Correlation Analysis (ECA), is based on a spectral decomposition of low order moments (third and fourth order) via two singular value decompositions (SVDs). Moreover, the algorithm is scalable since the SVD operations are carried out on $k imes k$ matrices, where $k$ is the number of latent factors (e.g. the number of topics), rather than in the $d$-dimensional observed space (typically $d \gg k$).

研究の動機と目的

• 観測された語の共起から、反復的でない、証明可能に一貫したLDAパラメータ推定手法の開発。
• トピックが観測不能な状況において、潜在的トピック分布およびディリクレ事前分布を推定する課題の解決。
• 観測空間の$d$次元から、$k \ll d$ である潜在空間の$k \times k$ 行列へのSVD操作の縮小により、スケーラブルな推論を実現。
• LDAを超えた交換可能およびマルチビュー混合モデルへのこの手法の一般化。
• EM法、ギブスサンプリング、または変分推論とは異なり、標本効率的かつモーメントに基づく代替手法の提供。

提案手法

• 本手法は、観測された語の三つ組または四つ組の三重および四重中心モーメントを用いて、二階相関を超える高階依存関係を捉える。
• 二段階のSVDプロセスを適用する：まず、第二階相関行列に対するSVDを用いたホワイトニング変換により、第二階構造を除去する。
• 第二に、三重または四重モーメントから導かれるテンソルに対するSVDを実行し、過剰尖度を反映する方向を抽出することで、潜在的トピック構造を明らかにする。
• データ内の文書内語の交換可能性およびマルチビュー構造を活用して、モーメントを一貫して推定する。
• 過剰モーメントテンソルの主成分を特定することで、真のトピックに対応するトピック-語分布を回復する。
• 実際の応用を可能にするために、データからの「プラグイン」モーメント推定値を用いて実装される。

実験結果

リサーチクエスチョン

• RQ1 反復的でないスペクトル的手法が、低次のモーメントのみを用いて、LDAの全パラメータ（トピック-語分布およびディリクルト事前分布）を回復できるか。
• RQ2 三語文（つまり、三重モーメント）からのみの統計を用いて、LDAにおける正確なパラメータ回復が可能か。
• RQ3 $d \times d$ 観測空間ではなく、$k \times k$ 潜在空間で動作させることで、トピックモデリングの計算コストをどのように低減できるか。
• RQ4 この手法をLDAを超えた交換可能およびマルチビュー混合モデルに一般化できるか。
• RQ5 LDAにおける一貫したパラメータ回復のための三重モーメント推定に必要な標本数（標本複雑性）はどの程度か。

主な発見

• 提案されたExcess Correlation Analysis (ECA) アルゴリズムは、三重モーメント統計のみを用いて、LDAにおけるトピック-語分布およびディリクルト事前分布を正確に回復する。
• 本手法は、三語文のデータのみで必要な三重モーメントを推定でき、非常に短いテキストからの学習を可能にする。
• SVD操作は、トピック数 $k$ に対応する $k \times k$ 行列で実行されるため、語彙の次元 $d$ が非常に大きい場合でも、アルゴリズムは高いスケーラビリティを示す。
• 弱い条件下でも証明可能に一貫しており、真のモデルが同定可能であれば正確な回復を達成する。
• 本手法は交換可能およびマルチビュー混合モデルに一般化可能であり、純粋なトピックモデルや離散的隠れマルコフモデルを含む。
• 標本複雑性の分析により、三重モーメントの推定に $O(1/\epsilon^2)$ 個の標本が必要であり、パラメータ推定の $\epsilon$-精度を達成するための明示的な上限が提示されている。