[論文レビュー] Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec

Christopher E. Moody|arXiv (Cornell University)|May 6, 2016

Topic Modeling参考文献 14被引用数 147

ひとこと要約

lda2vec は SGNS を Dirichlet に制約された文書ウェイトと共有トピックベクトルを統合することにより、密な語彙ベクトルと疎で解釈可能な文書-トピック混合を同時に学習します。

ABSTRACT

Distributed dense word vectors have been shown to be effective at capturing token-level semantic and syntactic regularities in language, while topic models can form interpretable representations over documents. In this work, we describe lda2vec, a model that learns dense word vectors jointly with Dirichlet-distributed latent document-level mixtures of topic vectors. In contrast to continuous dense document representations, this formulation produces sparse, interpretable document mixtures through a non-negative simplex constraint. Our method is simple to incorporate into existing automatic differentiation frameworks and allows for unsupervised document representations geared for use by scientists while simultaneously learning word vectors and the linear relationships between them.

研究の動機と目的

• 密な語彙表現と解釈性と科学者による下流用途のための疎でトピックベースの文書表現を統合する動機づけ。
• 自動微分フレームワーク内で語彙ベクトル、トピックベクトル、そして各文書のトピック混合を jointly 学習するモデルを開発する。
• 語彙ベクトルの意味的規칙性を preserve しつつ、疎で人間に解釈可能な文書-トピック割合を得る。
• 標準的なテキストコーパスと大規模な領域特化コーパスでアプローチをデモンストレーションし、一貫したトピックと意味のある語の類推を示す。

提案手法

• Skipgram Negative Sampling (SGNS) の目的を、文書全体の特徴ベクトルと文書重み付きトピック混合を含むよう拡張する。
• 各文脈を語彙ベクトルと文書ベクトルの和として表現する（c_j = w_j + d_j）、局所的な信号と文書レベルの信号の両方を捉える。
• 文書ベクトル d_j をソフトマックス変換 p_jk を介してトピックベクトル t_k の非負の、 simplex に満たす混合として表現し、解釈性を保証する。
• アルファをパラメータとする Dirichlet-尤度項 L^d を課し、文書-トピックのメンバーシップの疎性を促進する（alpha ~ n^{-1}）。
• Adam を用いた minibatch でエンドツーエンドに訓練し、L^d を minibatch サイズにスケーリング、トピックの一貫性 (C_v) とトークン類似度 (3COSMUL) を評価する。
• 任意で、事前学習済み埋め込みで語彙ベクトルを初期化し、SGNS の pivot/target ロール間で語彙表現を共有する。

実験結果

リサーチクエスチョン

• RQ1 密な語彙埋め込みと疎な文書-トピック混合を1つの差分可能モデルで共同学習できるか？
• RQ2 文書-トピック重みに Dirichlet ベースの疎性を課すことで、LDA に匹敵する解釈可能なトピックが得られるか？
• RQ3 学習されたトピックは人間が解釈できるテーマと一致し、特化コーパス内で一貫した語の結合を示すか？
• RQ4 モデルはドメイン固有の語彙において意味のある線形関係（類推）を捉えられるか？
• RQ5 アプローチは大規模コーパスにスケーラブルで、標準の深層学習ツールチェーンに適しているか？

主な発見

# of topics	beta	Topic Coherences
20	0.75	0.567
30	0.75	0.555
40	0.75	0.553
50	0.75	0.547
20	1.00	0.563
30	1.00	0.564
40	1.00	0.552
50	1.00	0.558

• lda2vec は Twenty Newsgroups コーパスで一貫したトピックを生み出し、人間の評価と相関するトピック一貫度を示す。
• Hacker News のコメントでは、lda2vec はドメイン関連トピックを発見し、トークン類似性と語のアナロジーに似た線形関係を学習する。
• 本モデルは文書ごとに非負の重みにより解釈可能なトピック混合をサポートし、文書-トピックの構成を検査可能にする。
• トピック一貫性は、例えば 20 トピックで beta = 0.75 の設定で平均一貫性 0.567 を達成する等、特定の設定で改善される（他の設定と比較）。
• このアプローチは自動微分フレームワークで実装が簡単で、速度のためにGPUを活用できる。
• Dirichlet 正則化による疎な文書-トピック Membership は、非疎な設定と比べてより一貫したトピックを生み、つながらないトピックベースを防ぐ。