[論文レビュー] Ordering-sensitive and Semantic-aware Topic Modeling

Min Yang, Tianyi Cui+1 more|arXiv (Cornell University)|Feb 12, 2015

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、語順と意味的意味を捉えるためにガウス混合モデルを用いて、単語、文、文書の表現を統合的に学習する新しいトピックモデリング手法、ガウス混合ニューラルトピックモデル（GMNTM）を提案する。文脈に基づく単語埋め込みとトピックモデリングを統合することで、GMNTMはパープレキシティ、リtrieval精度、文書分類の面で最先端の手法を著しく上回り、128トピックで20 Newsgroupsでは73.1%の精度、RCV1-v2では0.445の平均平均精度を達成した。

ABSTRACT

Topic modeling of textual corpora is an important and challenging problem. In most previous work, the "bag-of-words" assumption is usually made which ignores the ordering of words. This assumption simplifies the computation, but it unrealistically loses the ordering information and the semantic of words in the context. In this paper, we present a Gaussian Mixture Neural Topic Model (GMNTM) which incorporates both the ordering of words and the semantic meaning of sentences into topic modeling. Specifically, we represent each topic as a cluster of multi-dimensional vectors and embed the corpus into a collection of vectors generated by the Gaussian mixture model. Each word is affected not only by its topic, but also by the embedding vector of its surrounding words and the context. The Gaussian mixture components and the topic of documents, sentences and words can be learnt jointly. Extensive experiments show that our model can learn better topics and more accurate word distributions for each topic. Quantitatively, comparing to state-of-the-art topic modeling approaches, GMNTM obtains significantly better performance in terms of perplexity, retrieval accuracy and classification accuracy.

研究の動機と目的

• 袋の言葉仮定に依存する伝統的トピックモデルの限界を解決すること。この仮定は語順と意味的文脈を無視する。
• 意味的類似性と順序的文脈を捉える密度行列表現とトピック分布を同時に学習するトピックモデルを開発すること。
• 共起だけでなく、意味的および位置的文脈をモデル化することで、トピックの整合性と意味の解消を向上させること。
• より正確で解釈可能なトピック表現を提供することで、文書分類や情報検索などの下流NLPタスクを向上させること。

提案手法

• モデルは各トピックをガウス混合モデル（GMM）の成分として表現し、各成分は多次元ベクトルクラスタに対応する。
• 単語、文、文書の埋め込みは、文脈とトピックに基づいて単語を予測するニューラルネットワークを用いて、トピック割り当てと同時に学習される。
• モデルは単語埋め込みがGMMの成分からサンプリングされることを強制することで、意味的に類似した単語が同じトピックにグループ化されることを保証する。
• 階層的構造を用いて文脈をモデル化する。各単語の表現は、周囲の単語の埋め込みと、全体の文書または文の文脈に影響を受ける。
• 学習目的関数は、単語予測の交差エントロピー損失と、トピックの整合性とクラスタの密着性を促進する正則化された尤度を組み合わせる。
• モデルは確率的勾配降下法を用いてエンドツーエンドで訓練され、トピック割り当てとベクトル表現の共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 語順と文脈を保持しながら、意味的単語埋め込みとトピック割り当てを同時に学習できるトピックモデルは構築可能か？
• RQ2 順序的および意味的文脈を組み込むことで、袋の言葉モデルと比較してトピックの整合性と意味の解消はどのように向上するか？
• RQ3 パープレキシティ、リtrieval精度、分類性能の観点から、GMNTMモデルは最先端のトピックモデルをどの程度上回るか？
• RQ4 共起頻度が高くないにもかかわらず、「teacher」と「teach」のような意味的に関連する単語を、同じトピックに効果的にグループ化できるか？
• RQ5 LDA や他のニューラルトピックモデルと比較して、モデルはより解釈可能で意味のあるトピックを生成するか？

主な発見

• 20 Newsgroupsデータセットにおいて、GMNTMは66.8%の次善のモデル（Over-Replicated Softmax）を大きく上回る73.1%の分類精度を達成した。
• RCV1-v2データセットでは、GMNTMが0.445の平均平均精度を達成し、次善のモデル（Over-Replicated Softmax）の0.401を上回った。
• 最先端のアプローチよりもパープレキシティをより効果的に低減し、言語モデリングとトピック表現の質が向上していることを示している。
• 定性的な分析から、GMNTMは「Christ」と「Christian」のような意味的に関連する単語を同じトピックにクラスタリングできており、LDAとは異なり、これらを別々のトピックに割り当てる傾向がないことがわかった。
• モデルは意味のないストップワード（例：'would', 'accept'）を含むトピックを回避し、より解釈可能なトピックを生成した。
• 文書リtrievalおよび分類の面で、GMNTMは優れた性能を示し、語順と意味を統合することでトピックモデリングの有効性が向上することを確認した。