[論文レビュー] Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence

Federico Bianchi, Silvia Terragni+1 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling被引用数 6

ひとこと要約

本稿では、事前学習された言語モデル（特にSBERT）からの文脈を反映したドキュメント埋め込みを、ニューラルトピックモデルに統合する手法を提案している。具体的には、文レベルの文脈表現を用いてProdLDAを拡張している。この手法は、複数のデータセットでトピックの整合性が著しく向上することを示しており、従来のbag-of-wordsモデルや既存のニューラルトピックモデルに比べ、潜在的な文脈情報がトピック品質を向上させることを実証している。

ABSTRACT

Topic models extract groups of words from documents, whose interpretation as a topic hopefully allows for a better understanding of the data. However, the resulting word groups are often not coherent, making them harder to interpret. Recently, neural topic models have shown improvements in overall coherence. Concurrently, contextual embeddings have advanced the state of the art of neural models in general. In this paper, we combine contextualized representations with neural topic models. We find that our approach produces more meaningful and coherent topics than traditional bag-of-words topic models and recent neural models. Our results indicate that future improvements in language models will translate into better topic models.

研究の動機と目的

• 文脈を反映した単語および文の表現を統合することで、ニューラルトピックモデルにおけるトピックの整合性を向上させること。
• 構文的・意味的関係を無視するbag-of-words（BoW）表現の限界を是正すること。
• BERTのようなモデルからの事前学習済み文脈埋め込みが、トピックモデリングのパフォーマンスを向上させることを調査すること。
• 言語モデルの進歩が、文脈理解の向上を通じてトピックモデリングに直接的に寄与することを示すこと。
• 既存のニューラルトピックモデルに文脈埋め込みを統合するためのシンプルで拡張可能なフレームワークを提供すること。

提案手法

• ProdLDAニューラルトピックモデルを拡張し、そのbag-of-words入力をSBERTからの文脈的ドキュメント埋め込みに置き換える。
• SBERTを用いてドキュメント全体の文の埋め込みを生成し、意味的および構文的文脈を捉える。
• SBERT埋め込みと元のBoW表現を連結し、ニューラルトピックモデルの入力とする。
• 変分下界の対数尤度を最適化するため、ブラックボックス変分推論を用いてモデルを学習する。
• SBERT埋め込みを、語彙サイズに等しい次元の全結合層を通し、トピックモデルの入力次元に整合させる。
• 任意のオートエンコーダー基盤のトピックモデルおよび任意の事前学習済み文のエンコーダーと互換性を持たせ、モジュラーかつ汎用的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 従来のbag-of-words入力と比較して、文脈を反映したドキュメント埋め込みは、ニューラルトピックモデルにおけるトピックの整合性を向上させることができるか？
• RQ2 事前学習済み文脈表現の統合は、トピックの多様性および解釈可能性にどのように影響を与えるか？
• RQ3 事前学習済み文のエンコーダーの選択（例：RoBERTa対BERT）が、トピックの整合性パフォーマンスに影響を与えるか？
• RQ4 言語モデルの向上が、どの程度トピックモデリングの成果に反映されるか？
• RQ5 SBERTのようなモデルの入力長制限を考慮しても、長文ドキュメントは文脈埋め込みで効果的に表現可能か？

主な発見

• 提案されたCombinedTMモデルは、従来のBoWベースのモデルおよびMetaLDAなどの最近のニューラルトピックモデルと比較して、すべてのデータセットで有意に高いトピック整合性を達成しており、t検定のp値はすべて0.05未満である。
• 20Newsgroupsデータセットでは、重み付き平均整合性スコアが0.12に達し、MetaLDAの0.13を最良ケースでのみ上回るが、他のデータセットでは一貫した改善が見られる。
• Wiki20Kでは、100トピックで整合性スコアが0.18に達し、MetaLDAの0.13（p < 0.05）を著しく上回っている。
• RoBERTaベースのSBERT（stsb-roberta-large）を用いることで、BERTベースのSBERT（bert-base-nli-mean）よりも高い整合性が得られ、文脈エンコーダーの品質が重要であることが示された。
• モデルは整合性の向上を著しく達成しながらも、トピックの多様性を維持しており、トピック品質のバランスの取れた向上が示唆される。
• 結果から、今後の事前学習言語モデルの進歩が、より優れた文脈表現学習を通じて、トピックモデリングに直接的に寄与することが示唆される。