[論文レビュー] Variable Selection for Latent Dirichlet Allocation

Dongwoo Kim, Yeonseung Chung+1 more|arXiv (Cornell University)|May 4, 2012

Natural Language Processing Techniques参考文献 25被引用数 3

ひとこと要約

本稿では、トピック推論中に無情報的単語を自動的に同定・除外することができる、Latent Dirichlet Allocation における変数選択手法である vsLDA を提案する。ベルヌーイ分布に従う選択変数を用いて単語の情報性をモデル化することで、vsLDA はトピックの識別性と頑健性を向上させ、文書分類および MCMC の一貫性において、対称的および非対称的 LDA の変種を上回る性能を示した。複数回の実行における非情報的単語集合の Jaccard 同一性は 0.83–0.96 の範囲に収まった。

ABSTRACT

In latent Dirichlet allocation (LDA), topics are multinomial distributions over the entire vocabulary. However, the vocabulary usually contains many words that are not relevant in forming the topics. We adopt a variable selection method widely used in statistical modeling as a dimension reduction tool and combine it with LDA. In this variable selection model for LDA (vsLDA), topics are multinomial distributions over a subset of the vocabulary, and by excluding words that are not informative for finding the latent topic structure of the corpus, vsLDA finds topics that are more robust and discriminative. We compare three models, vsLDA, LDA with symmetric priors, and LDA with asymmetric priors, on heldout likelihood, MCMC chain consistency, and document classification. The performance of vsLDA is better than symmetric LDA for likelihood and classification, better than asymmetric LDA for consistency and classification, and about the same in the other comparisons.

研究の動機と目的

• LDA における従来の語彙前処理（例：ストップワード除去）の恣意的かつ任意な性質に対処すること。
• 情報的単語の選択とトピック推論を同時に実行する、原理的でモデルベースの変数選択手法を開発すること。
• トピック発見を妨げる単語を除外することで、トピックモデルの頑健性と予測性能を向上させること。
• 固定された語彙選択とは対照的に、データ駆動型の単語サブセット同定を可能にする、体系的な代替手法を提供すること。
• 尤度、一貫性、分類性能の観点から、vsLDA を対称的および非対称的 LDA と比較して評価すること。

提案手法

• 各単語タイプに、それがトピック語彙に含まれるかどうかを決定する二値指標 $ s_j \sim \text{Bernoulli}(\lambda) $ を割り当てる生成プロセスを導入する。
• 標準的なディリクレ事前分布 $ \text{Dir}(\beta\mathbf{1}) $ を $ \text{Dir}(\beta\mathbf{s}) $ に置き換えることで、トピックが選択された単語サブセットでのみ定義されるようにする。
• 潜在変数（トピック割り当ておよび単語選択指標）の後方分布推論に、ギブスサンプリングを用いたマルコフ連鎖モンテカルロ（MCMC）を適用する。
• 選択された単語集合およびトピック分布の後方分布を近似するために、モンテカルロ統合を適用する。
• 複数の MCMC チェイン間でトピックペアの対称的 KL 収束を評価するために、ハンガリアン法に基づく最適マッチング手法を用いる。
• 複数回の MCMC 実行における非情報的（NI）単語集合の重複度を測定するための代理指標として、ジャカード係数を用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルベースの変数選択アプローチにより、トピック推論中に非情報的単語を除外することで、トピックモデルの性能が向上するか？
• RQ2 vsLDA は、留保尤度および予測性能の観点から、対称的および非対称的 LDA と比べてどのように異なるか？
• RQ3 vsLDA は、非対称的 LDA よりも複数回の MCMC 実行でより一貫性のあるトピック推定を生成するか？
• RQ4 非情報的単語の除外が、文書分類精度をどの程度向上させるか？
• RQ5 vsLDA が複数の MCMC チェインで同定する非情報的単語集合の安定性はどの程度か？

主な発見

• vsLDA は、対称的 LDA よりも高い留保尤度を達成し、対称的および非対称的 LDA よりも高い文書分類精度を示した。
• vsLDA は、非対称的 LDA よりも高い MCMC チェインの一貫性を示し、最適マッチングされたトピックペア間の平均対称的 KL 収束が非対称的 LDA よりも低かった。
• 複数回の MCMC 実行における非情報的単語集合の平均ジャカード類似度は、20NG で 0.83、NIPS で 0.96、SigGraph で 0.93 であり、高い安定性を示した。
• vsLDA は各文書をより識別性の高い部分空間に圧縮することで、対称的および非対称的 LDA よりも優れた分類性能を達成した。
• 対称的 KL 収束および一貫性の観点から、vsLDA は非対称事前分布を用いていながら、対称的 LDA と同等の性能を示した。
• 本モデルは、ストップワードリストによる恣意的な前処理で通常除去される非情報的単語の影響を効果的に低減した。