[論文レビュー] Beyond LDA: A Unified Framework for Learning Latent Normalized Infinitely Divisible Topic Models through Spectral Methods.

Forough Arabshahi, Animashree Anandkumar|arXiv (Cornell University)|May 30, 2016

Topic Modeling参考文献 12被引用数 4

ひとこと要約

本論文は、LDAを越えるトピックモデルを学習するための統一的スペクトルフレームワークを導入する。トピック割合を正規化無限分割可能（NID）分布でモデル化することで、任意のトピック相関を扱える。3次モーメントが十分であることを証明し、1変数積分に依存する効率的な対角化手順を用いることで、多項式的サンプルおよび計算複雑性を達成する。

ABSTRACT

In this paper we propose guaranteed spectral methods for learning a broad range of topic models, which generalize the popular Latent Dirichlet Allocation (LDA). We overcome the limitation of LDA to incorporate arbitrary topic correlations, by assuming that the hidden topic proportions are drawn from a flexible class of Normalized Infinitely Divisible (NID) distributions. NID distributions are generated through the process of normalizing a family of independent Infinitely Divisible (ID) random variables. The Dirichlet distribution is a special case obtained by normalizing a set of Gamma random variables. We prove that this flexible topic model class can be learnt via spectral methods using only moments up to the third order, with (low order) polynomial sample and computational complexity. The proof is based on a key new technique derived here that allows us to diagonalize the moments of the NID distribution through an efficient procedure that requires evaluating only univariate integrals, despite the fact that we are handling high dimensional multivariate moments.

研究の動機と目的

• LDAが任意のトピック相関をモデル化できないという制限を克服し、ディリクレ事前分布を超えてトピック割合分布を一般化すること。
• スペクトル手法を用いて広範なトピックモデルのクラスを統一的に学習するフレームワークを構築すること。
• 3次モーメントまでを用いることで、これらのモデルの保証付き学習を実現すること。
• モデルパラメータの学習において多項式的サンプルおよび計算複雑性を達成すること。
• 高次元多変量モーメントの対角化を1変数積分に還元することで、高次元統合を必要としない効率的な手法を設計すること。

提案手法

• 正規化無限分割可能（NID）分布を用いてトピック割合をモデル化する。これはディリクレ分布を一般化する柔軟なクラスである。
• 語の共起統計の3次モーメントを活用し、データ内の高次元依存関係を捉える。
• 高次元多変量モーメントをスペクトル分解に適した形に変換する、新しい対角化手順を開発する。
• 重要な解析的技術を用いて、多変量モーメントの計算を1変数積分の評価に還元する。
• 3次モーメントテンソルのスペクトル分解を用いて、モデルパラメータを一貫して推定する。
• 低次モーメント推定と効率的な積分評価に依存することで、多項式的サンプルおよび計算複雑性を保証する。

実験結果

リサーチクエスチョン

• RQ1 任意のトピック相関を許容するLDAを一般化したトピックモデルを学習する統一的スペクトルフレームワークを構築できるか？
• RQ2 保証付き収束を達成するために、3次モーメントのみを用いてNIDに基づくトピックモデルを学習できるか？
• RQ3 高次元統合を必要とせずに、高次元多変量モーメントを効率的に対角化できるか？
• RQ4 スペクトル手法を用いた場合、このようなモデルの計算およびサンプル複雑性はどの程度か？
• RQ5 提案手法は統計的一致性を維持しつつ、多項式的複雑性を達成できるか？

主な発見

• 提案されたフレームワークにより、NID分布を用いて任意のトピック相関を持つトピックモデルの学習が可能になる。
• 3次モーメントのみを用いることで、低計算およびサンプル複雑性が保証される。
• 新規の対角化技術により、高次元多変量モーメントが1変数積分に還元され、効率的に処理できる。
• 多項式的サンプルおよび計算複雑性を達成しており、スケーラブルで実用的である。
• 理論的枠組みにより、スペクトル学習の枠組みにおいて一貫したパラメータ推定が保証される。
• アプローチによりLDAが一般化され、ディリクレ分布がNID分布の特別な場合として包含される。