[論文レビュー] Rethinking LDA: moment matching for discrete ICA

Anastasia Podosinnikova, Francis Bach+1 more|arXiv (Cornell University)|Jul 7, 2015

Blind Source Separation Techniques参考文献 34被引用数 6

ひとこと要約

この論文は、ICAにおけるモーメントマッチング技術と関連付けることで、潜在ディリクレ割り当て（LDA）を離散的独立成分分析（DICA）モデルとして再考する。新たな積モーメントに基づくテンソルを導入し、従来の方法よりも優れた標本複雑度を達成する。直交的共同対角化を用いて、合成および実世界のデータセットにおいて、既存のテンソルベースのLDA手法を凌駆し、より優れたトピック回復と下流推論の初期化を実現する。

ABSTRACT

We consider moment matching techniques for estimation in Latent Dirichlet Allocation (LDA). By drawing explicit links between LDA and discrete versions of independent component analysis (ICA), we first derive a new set of cumulant-based tensors, with an improved sample complexity. Moreover, we reuse standard ICA techniques such as joint diagonalization of tensors to improve over existing methods based on the tensor power method. In an extensive set of experiments on both synthetic and real datasets, we show that our new combination of tensors and orthogonal joint diagonalization techniques outperforms existing moment matching methods.

研究の動機と目的

• LDAを離散的ICA（DICA）モデルとして再定式化し、確立されたICA技術を活用して推定性能を向上させる。
• 従来のモーメントマッチング手法よりも優れた標本複雑度を達成する、新しい積モーメントに基づくテンソルを導出する。
• 共同対角化に基づくアルゴリズムを開発し、トピック回復においてテンソルパワー法を上回ることを目的とする。
• 提案手法を合成および実世界のデータセットに対して評価し、変分推論とのベンチマーク比較を実施する。

提案手法

• LDAをギャンマ・ポアソン（GP）モデルとして再定式化し、離散的ICA（DICA）と同等の関係を確立することで、ICAツールの利用を可能にする。
• GPモデルから新たな高次積モーメントテンソルを導出し、標準LDAモーメントよりも標本複雑度を向上させる。
• 積モーメントのテンソル構造を活用して、直交的共同対角化を用いてトピック行列Dを推定する。
• 得られたトピック推定値を変分推論の初期化に用い、収束性と予測性能の向上を図る。
• 有限標本効果やモデル不適合を扱える、頑健な推定パイプラインを導入する。

実験結果

リサーチクエスチョン

• RQ1 LDAは、高度なICA技術の適用を可能にするために、離散的ICAモデルとして再解釈可能か？
• RQ2 ギャンマ・ポアソン生成プロセスから導出される積モーメントに基づくテンソルは、標準LDAモーメントよりも優れた標本複雑度を達成するか？
• RQ3 これらの新規テンソルの共同対角化は、トピック回復においてテンソルパワー法を上回るか？
• RQ4 実データセットにおける予測対数尤度の観点から、提案手法は変分推論と比較してどのように差をつけるか？
• RQ5 他のLDA推論アルゴリズムの初期化として、本手法は有効に機能するか？

主な発見

• ギャンマ・ポアソンに基づく積モーメント（JD-GP）を用いた共同対角化手法は、LDAモーメントに基づく手法（JD-LDA）と比較して、特にc0が不正確に指定された場合に顕著に低いℓ1誤差を達成する。
• NIPSの準合成データセットでは、K=10およびK=50の設定で20,000ドキュメントにわたってℓ1誤差が0.2未満に抑えられ、スペクトル法および変分ベースラインを上回った。
• KOSおよびAPの実データセットにおいて、JD-GPはLDAベースおよびGPベースのスペクトル法よりも高い予測対数尤度（1トークンあたりのビット単位）を達成した。
• JD-GPで初期化された変分推論（VI）は、標準VIを常に上回り、新たな初期化の価値を示した。
• 本手法はc0のハイパーパrameterの不適合に対して頑健であるが、真の値から大きく離れていると性能が低下する傾向にあり、事前分布の選択に感受性があることが示唆された。