[論文レビュー] LTSG: Latent Topical Skip-Gram for Mutually Learning Topic Model and Vector Representations

Jarvan Law, Hankz Hankui Zhuo+2 more|arXiv (Cornell University)|Feb 23, 2017

Topic Modeling参考文献 20被引用数 12

ひとこと要約

LTSGは、多義語の語に対してグローバルなトピック表現を導入することで、トピックモデルと単語埋め込みの相互改善を図る共同学習フレームワークを提案する。EM風の反復的最適化を用いる。トピックの整合性と自然言語処理タスクの両面で最先端手法を上回り、トピック整合性スコアはLDAの-108.72に対し-92.23を達成する。

ABSTRACT

Topic models have been widely used in discovering latent topics which are shared across documents in text mining. Vector representations, word embeddings and topic embeddings, map words and topics into a low-dimensional and dense real-value vector space, which have obtained high performance in NLP tasks. However, most of the existing models assume the result trained by one of them are perfect correct and used as prior knowledge for improving the other model. Some other models use the information trained from external large corpus to help improving smaller corpus. In this paper, we aim to build such an algorithm framework that makes topic models and vector representations mutually improve each other within the same corpus. An EM-style algorithm framework is employed to iteratively optimize both topic model and vector representations. Experimental results show that our model outperforms state-of-art methods on various NLP tasks.

研究の動機と目的

• 事前学習済みのトピックモデルや単語埋め込みを固定事前分布として依存する既存モデルの限界を解消すること。
• 多義語がトピックモデリングと単語埋め込みの両方の品質を低下させるという相互依存問題を克服すること。
• 外部事前分布を必要とせず、同時にトピックモデルとベクトル表現を最適化する共同学習フレームワークを構築すること。
• トピックと単語埋め込みの双方向的強化を可能にすることで、トピックの整合性と下流の自然言語処理性能を向上させること。

提案手法

• 各多義語 $w$ に対して、トピック-語分布 $\bm{\varphi}$ とトピック埋め込み $\bm{t}$ から導出されるグローバルなトピック表現 $\bm{T}w$ を導入する。
• スキップグラムモデルを拡張し、語 $w$ とそのグローバルトピック $\bm{T}w$ を与えたもとで文脈の尤度を最大化するようにし、文脈に配慮した表現学習を可能にする。
• 単語埋め込み $\bm{v}_w$、トピック埋め込み $\bm{t}_k$、トピック-語分布 $\bm{\varphi}$ を同時に最適化するための共同目的関数を用いる。
• トピック割り当て $\bm{z}$、単語埋め込み、トピック埋め込み、$\bm{\varphi}$ を反復的に精緻化するEM風のアルゴリズムを採用する。
• 多義語の埋め込みを、語の埋め込みとトピック埋め込みの連結として特徴づけ、複数の意味を表現可能にする。
• フレームワークをトピックモデリングと単語表現学習の両方へ適用し、反復的最適化によって相互に改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの事前分布に依存せずに、トピックモデルと単語埋め込みを共同で最適化することで、互いの性能を向上させることは可能か？
• RQ2 多義語の語に対してグローバルなトピック表現 $\bm{T}w$ を組み込むことで、トピックの整合性と単語表現の質がどのように向上するか？
• RQ3 トピックモデルとベクトル表現の相互学習は、最先端モデルと比較して下流の自然言語処理タスクの性能をどの程度向上させるか？
• RQ4 共同最適化フレームワークは、多義性がトピックモデリングと単語埋め込み学習に与える悪影響を軽減するか？

主な発見

• LTSGは20NewsGroupデータセットでトピック整合性スコア-92.23を達成し、LDAの-108.72を顕著に上回り、質の高い、より整合性の高いトピックを生成していることが示された。
• 定性的な分析から、LTSGはLDAが「良い品質」といった一般的な属性にとどまるのに対し、プリンタ技術やメールサーバーの設定といったより具体的かつ明確なトピックを生成することが分かった。
• モデルはトピックモデルが単語埋め込みを向上させられることを実証しており、下流タスクでの性能向上が観察されたことから、相互学習メカニズムの有効性が裏付けられた。
• LTSGは、トピックマイニングおよびテキスト分類タスクの両方で最先端手法を上回り、共同最適化の有効性を確認した。
• フレームワークは、グローバルトピック $\bm{T}w$ を通じてトピック固有の表現を学習することで、多義語の複数の意味を効果的に捉えている。
• 反復的EM風最適化は、単語埋め込み、トピック埋め込み、トピック-語分布を相互に強化し合いながら、的確にバランスをとるのを効果的に実現した。