[論文レビュー] CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling

Zheng Fang, Yulan He+1 more|arXiv (Cornell University)|May 16, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、Bag-of-Words (BOW) 表現に依存せずに、文書および語レベルのトピックベクトルを学習する、BERT からの文脈依存語埋め込みを利用する新しいニューラルトピックモデル CWTM を提案する。BERT の文脈依存埋め込みを直接潜在的トピックにマッピングすることで、CWTM はトピックの一貫性と OOV (Out-of-Vocabulary) 語に対するロバスト性において、LDA や他のニューラルトピックモデルを上回る性能を発揮し、複数のデータセットで優れた結果を達成した。

ABSTRACT

Most existing topic models rely on bag-of-words (BOW) representation, which limits their ability to capture word order information and leads to challenges with out-of-vocabulary (OOV) words in new documents. Contextualized word embeddings, however, show superiority in word sense disambiguation and effectively address the OOV issue. In this work, we introduce a novel neural topic model called the Contextlized Word Topic Model (CWTM), which integrates contextualized word embeddings from BERT. The model is capable of learning the topic vector of a document without BOW information. In addition, it can also derive the topic vectors for individual words within a document based on their contextualized word embeddings. Experiments across various datasets show that CWTM generates more coherent and meaningful topics compared to existing topic models, while also accommodating unseen words in newly encountered documents.

研究の動機と目的

• 従来のトピックモデルが BOW 表現に依存するという制限、特に語の順序を無視し、OOV 語に対処しづらい点を是正すること。
• BERT からの文脈依存語埋め込みをトピックモデリングに統合し、文脈依存する意味的特徴を捉え、トピック品質を向上させること。
• BOW 依存を避けるために、raw text と BERT の文脈依存埋め込みから直接文書レベルおよび語レベルのトピックベクトルを学習するモデルの開発。
• 命名エンティティ認識 (NER) などの下流 NLP タスクを通じて、学習された語-トピックベクトルの意味的意味の有無を評価すること。
• 新規文書における OOV 語に対してモデルがロバストであることを示すこと。

提案手法

• CWTM は、学習可能なプロジェクション層を用いて、BERT からの各語の文脈依存埋め込みを潜在的トピックベクトルにマッピングする。
• 文書レベルのトピックベクトルは、同じ文書内の語-トピックベクトルの重み付き平均プーリングによって生成される。
• モデルは、文脈依存埋め込みと学習済みトピックベクトルの関係を保持するための再構成損失を用いて、エンド・ツー・エンドで訓練される。
• 語-トピックベクトルと文書-トピックベクトルは同時に最適化され、語レベルおよび文書レベルのトピック構造を同時に推論可能になる。
• モデルは BOW 表現を入力として必要とせず、raw text と BERT の文脈依存埋め込みのみに依存する。
• NER などの下流タスクは、CWTM が学習した語-トピックベクトルと BERT の最終層埋め込みを連結することで評価される。

実験結果

リサーチクエスチョン

• RQ1 BOW 表現を回避し、代わりに BERT からの文脈依存語埋め込みを用いるニューラルトピックモデルが、より一貫性があり意味的なトピックを生成できるか？
• RQ2 従来のトピックモデルと比較して、このモデルはどの程度 OOV 問題を軽減できるか？
• RQ3 学習された語-トピックベクトルは意味的に意味的であり、下流 NLP タスクに有用であるか？
• RQ4 トピック一貫性と文書分類性能において、LDA や他のニューラルトピックモデルと比較して、このモデルの性能はどの程度か？
• RQ5 OOV 語の割合が異なる文書において、モデルの性能は一貫性を保っているか？

主な発見

• CWTM は 5 つのベンチマークデータセットにおいて、LDA や他のニューラルトピックモデルを上回る高いトピック一貫性スコアを達成し、C_V で平均 0.093、UCI で平均 0.163 の向上を示した。
• OOV のロバストネステストでは、CWTM は Test1（90%以上が既知語）と Test2（70%未満が既知語）の間で精度差が最小（0.021±0.005）であり、未学習語の処理能力に優れたことを示した。
• CoNLL2003 NER タスクでは、BERT 埋め込みに CWTM の語-トピックベクトルを連結することで F1 スコアが 0.814 から 0.828 に向上し、統計的に有意な t 検定結果（t = -3.75, p = 0.003）が得られた。
• モデルはデータセット全体で一貫性のある性能を示し、CWTM は既知語と OOV を多く含むテストセットの両方で、ベースラインモデルを上回る文書分類性能を示した。
• CWTM が学習した語-トピックベクトルは、下流 NER タスクでの性能向上から、意味的に意味的であることが裏付けられた。
• CWTM は BOW 表現への依存を完全に排除しながら、トピックモデリングの性能を維持または向上させることに成功した。