[論文レビュー] Two SVDs Suffice: Spectral decompositions for probabilistic topic modeling and latent Dirichlet allocation

Animashree Anandkumar, Dean P. Foster+3 more|arXiv (Cornell University)|Apr 30, 2012

Bayesian Methods and Mixture Models被引用数 17

ひとこと要約

本稿では、3次および4次モーメントの2つの特異値分解（SVD）を用いて、トピックモデルおよびLDAパラメータを効率的に回復するスペクトル的手法、過剰相関分析（ECA）を提案する。この手法は、語彙空間全体ではなくk×k行列にスケーリングすることで、トピックベクトルおよびトピック事前分布の回復を保証する。

ABSTRACT

The problem of topic modeling can be seen as a generalization of the clustering problem, in that it posits that observations are generated due to multiple latent factors (e.g., the words in each document are generated as a mixture of several active topics, as opposed to just one). This increased representational power comes at the cost of a more challenging unsupervised learning problem of estimating the topic probability vectors (the distributions over words for each topic), when only the words are observed and the corresponding topics are hidden. We provide a simple and efficient learning procedure that is guaranteed to recover the parameters for a wide class of mixture models, including the popular latent Dirichlet allocation (LDA) model. For LDA, the procedure correctly recovers both the topic probability vectors and the prior over the topics, using only trigram statistics (i.e., third order moments, which may be estimated with documents containing just three words). The method, termed Excess Correlation Analysis (ECA), is based on a spectral decomposition of low order moments (third and fourth order) via two singular value decompositions (SVDs). Moreover, the algorithm is scalable since the SVD operations are carried out on $k imes k$ matrices, where $k$ is the number of latent factors (e.g. the number of topics), rather than in the $d$-dimensional observed space (typically $d \gg k$).

研究の動機と目的

• 潜在トピックが隠れており、観測されるのは単語のみである非教師あり学習の課題に対処すること。
• 潜在ディリクレ配分（LDA）におけるトピック確率ベクトルおよびトピック事前分布の回復を保証する手法を開発すること。
• 語彙次元d ≫ kの全d次元観測空間ではなく、k×k行列上で処理することで計算コストを低減すること。
• 短いドキュメントでさえも、3語以上のドキュメントから得られるトリグラム統計のみを用いてパラメータ回復を可能にすること。

提案手法

• 単語共起の3次および4次モーメントに対するスペクトル分解を実行し、潜在トピック構造を抽出する。
• これらのモーメントから導かれる過剰相関テンソルに、2回の連続した特異値分解（SVD）を適用する。
• アルゴリズムは、3語以上のドキュメントから計算可能なトリグラム統計のみを用いて、トピック確率ベクトルおよびトピック事前分布を推定する。
• kがトピック数であるk×k行列上で処理されるため、大規模語彙に対してもスケーラブルである。
• トピック-語分布が線形独立であり、同定可能性を満たすための特定の非退化条件を満たしているものと仮定している。

実験結果

リサーチクエスチョン

• RQ1 スペクトル的手法は、3次および4次モーメントのみを用いて、LDAパラメータの全セット（トピックベクトルおよびトピック事前分布）を回復できるか？
• RQ2 3語のドキュメントのような最小限のデータからでも、保証付きのパラメータ回復が可能か？
• RQ3 語彙空間における全次元の演算を回避することで、トピックモデリングの計算コストをどのように低減できるか？
• RQ4 3次および4次モーメントは、混合モデルにおける潜在要因の同定にどのような役割を果たすか？

主な発見

• トピック-語分布にやや弱い条件が課せられる場合でも、トピック確率ベクトルおよびトピック事前分布の正確な回復が保証される。
• すべてのLDAパラメータを回復するために、トリグラム統計（3次モーメント）のみが必須であり、非常に短いドキュメントからの学習が可能になる。
• SVD操作が語彙サイズdのd×d行列ではなく、k×k行列上で行われるため、アルゴリズムは効率的にスケーリングされる。
• LDAに限らず、複数の潜在要因をもつ混合モデルの広いクラスに対しても適用可能である。