[論文レビュー] Learning Topic Models - Going beyond SVD

Sanjeev Arora, Rong Ge+1 more|arXiv (Cornell University)|Apr 9, 2012

Topic Modeling参考文献 21被引用数 58

ひとこと要約

本稿では、特徴値分解（SVD）の限界を克服するため、非負値行列分解（NMF）を用いた多項式時間のトピックモデル学習アルゴリズムを提案する。SVDは純粋な文書（1文書に1つのトピック）を必要とするか、トピックベクトルの生成空間（スパン）しか回復できないが、本稿は分離性仮定の下で、証明可能に正しいアルゴリズムを提示する。このアルゴリズムは、CTM や PAM といった相関付きトピックモデルへも一般化可能である。

ABSTRACT

Topic Modeling is an approach used for automatic comprehension and classification of data in a variety of settings, and perhaps the canonical application is in uncovering thematic structure in a corpus of documents. A number of foundational works both in machine learning and in theory have suggested a probabilistic model for documents, whereby documents arise as a convex combination of (i.e. distribution on) a small number of topic vectors, each topic vector being a distribution on words (i.e. a vector of word-frequencies). Similar models have since been used in a variety of application areas; the Latent Dirichlet Allocation or LDA model of Blei et al. is especially popular. Theoretical studies of topic modeling focus on learning the model's parameters assuming the data is actually generated from it. Existing approaches for the most part rely on Singular Value Decomposition(SVD), and consequently have one of two limitations: these works need to either assume that each document contains only one topic, or else can only recover the span of the topic vectors instead of the topic vectors themselves. This paper formally justifies Nonnegative Matrix Factorization(NMF) as a main tool in this context, which is an analog of SVD where all vectors are nonnegative. Using this tool we give the first polynomial-time algorithm for learning topic models without the above two limitations. The algorithm uses a fairly mild assumption about the underlying topic matrix called separability, which is usually found to hold in real-life data. A compelling feature of our algorithm is that it generalizes to models that incorporate topic-topic correlations, such as the Correlated Topic Model and the Pachinko Allocation Model. We hope that this paper will motivate further theoretical results that use NMF as a replacement for SVD - just as NMF has come to replace SVD in many applications.

研究の動機と目的

• トピックモデルにおけるSVDベースの手法の限界に対処する。具体的には、純粋な文書（1文書に1つのトピック）を必要とするか、トピックベクトルのスパンしか回復しない点である。
• 真のトピックベクトルを回復する、証明可能で多項式時間のアルゴリズムを構築する。
• 語-トピック行列および文書-トピック行列の非負性を活用することで、非負値行列分解（NMF）がトピックモデルにおいてSVDよりも優れた代替手段であることを正当化する。
• トピック-トピック相関を扱えるようにアルゴリズムを一般化する。具体的には、相関付きトピックモデル（CTM）およびパチンコ割当モデル（PAM）を含む。
• 分離性仮定のもとでも、最大尤度推定（MLE）がNP困難であることを示し、効率的な近似アルゴリズムの必要性を強調する。

提案手法

• 文書-語行列を非負の因子に分解することで、トピックベクトルと文書-トピック分布を表す非負値行列を得る。
• 各トピックが少なくとも1つの固有語（アンカーワード）を持つという分離性仮定を活用し、トピックベクトルの効率的かつ証明可能な回復を可能にする。
• アンカーワードを特定し、それを用いて反復的にトピックベクトルを回復する貪欲アルゴリズムを適用することで、多項式時間で収束を保証する。
• 文書-トピック分布に構造的事前分布を組み込むことで、トピック相関を扱うモデルへフレームワークを一般化する。
• やや弱い仮定のもとで、真のトピック行列と文書-トピックパラメータが回復可能であることを証明し、誤差境界は標本サイズとノイズレベルに依存する。
• 最小2部分割問題への還元を用いて、分離性仮定のもとでもトピックモデルのMLEがNP困難であることを示し、理論的困難性の境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 純粋な文書を必要とせず、トピックのスパンしか回復しないSVDベースの手法を回避して、多項式時間でトピックモデルを学習可能か？
• RQ2 現実的な仮定のもとで、非負値行列分解（NMF）がSVDの代替手段として実用的かつ証明可能に正しいか？
• RQ3 各トピックが少なくとも1つの固有語（アンカーワード）を持つという分離性仮定が、効率的かつ正確なトピックベクトル回復を可能にするか？
• RQ4 提案されたNMFベースのアルゴリズムを、CTM や PAM のようなより複雑なトピックモデル（トピック間相関を含む）へ拡張可能か？
• RQ5 トピック行列が分離可能であっても、トピックモデルの最大尤度推定（MLE）はNP困難か？

主な発見

• 提案されたNMFベースのアルゴリズムは多項式時間で実行可能であり、分離性仮定のもとで真のトピックベクトルを回復可能である。これは、SVDベースの手法がトピックのスパンしか回復しないのとは対照的である。
• アルゴリズムはCTM や PAM といった相関付きトピックモデルへ一般化可能であり、より現実的なモデリング状況でも効率的な学習を可能にする。
• 本稿では、分離性仮定のもとでも、最大尤度推定（MLE）がNP困難であることを示した。最小2部分割問題への還元を用いて証明した。
• MLE問題の目的関数は、最小2部分割に対応する正規解によって最大化され、最適解と部分最適解との間には少なくとも log 2 のギャップが存在することが示された。
• 任意の正規解からの逸脱（例えば、非一様なトピック重み）が、目的関数値の著しい低下を引き起こすことを示し、正しい解への収束を保証する。
• 理論的分析により、アルゴリズムの性能が標本ノイズに対して安定であることが確認された。誤差境界は濃度不等式および凹関数のテイラー展開から導出された。