[論文レビュー] Topic Modeling with Contextualized Word Representation Clusters

Laure Thompson, David Mimno|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 45被引用数 13

ひとこと要約

本稿では、BERT や GPT-2 などのモデルからのトークンレベルの埋め込みをクラスタリングすることで、文脈化された単語表現からトピックモデルを抽出する単純な手法を提案する。この手法により、LDA と同等またはそれ以上の性能を持つトピックモデルが得られ、多義語の捉え方を捉えられ、追加計算が最小限で済む文書に根ざした解釈可能な分析が可能であることを示している。

ABSTRACT

Clustering token-level contextualized word representations produces output that shares many similarities with topic models for English text collections. Unlike clusterings of vocabulary-level word embeddings, the resulting models more naturally capture polysemy and can be used as a way of organizing documents. We evaluate token clusterings trained from several different output layers of popular contextualized language models. We find that BERT and GPT-2 produce high quality clusterings, but RoBERTa does not. These cluster models are simple, reliable, and can perform as well as, if not better than, LDA topic models, maintaining high topic quality even when the number of topics is large relative to the size of the local collection.

研究の動機と目的

• 文脈化された単語表現のトークンレベルのクラスタリングが、従来の LDA と同等のトピックモデルを生成できるかどうかを検討すること。
• BERT、GPT-2、RoBERTa といった異なる文脈化言語モデルが、意味的に明確で解釈可能なトピッククラスタをどれほど効果的に生成できるかを評価すること。
• このようなクラスタリングが文書の文脈に根ざしており、トピックの追跡やアスペクト検出といった実用的コロナス分析タスクを支援できることを示すこと。
• この手法が追加の訓練や複雑なモデリングを必要とせず、BERT スタイルのモデルを既に使用している研究者にとっても容易に利用可能であることを示すこと。
• BERT と同様のアーキテクチャを持つにもかかわらず、RoBERTa の出力に見られる限界を特定し、表現学習におけるより深い差異を示唆すること。

提案手法

• BERT、GPT-2、RoBERTa の最終層から抽出したトークンレベルの文脈化された単語埋め込みに k-means クラスタリングを適用する。
• 得られたクラスタ割り当てをトピックラベルとして使用し、各クラスタが明確な意味的テーマまたはトピックを表すようにする。
• 解釈可能性、多義語の捉え方、およびトピックの時間的・文書カテゴリ別頻度の推定といった下流の分析タスクを用いて、トピック品質を評価する。
• 事後分析として、特定の文書パーティション（例：製品カテゴリ、年）内でのクラスタごとのトークン割り当て数を数えることで、トピックの顕著性を推定する。
• エントロピーに基づく指標を用いて、特定のカテゴリに強く関連しないトピック（つまり、曖昧なまたは主観的なテーマ）を特定する。
• 英語テキストコレクションを用いて、定性的および定量的な指標で、クラスタベースのトピックモデルと標準的な LDA の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 文脈化された単語埋め込みのトークンレベルのクラスタリングは、関数的および定性的に LDA と同等のトピックモデルを生成できるか？
• RQ2 BERT、GPT-2、RoBERTa といった異なる文脈化言語モデルは、解釈可能で意味的に整合性のあるトピッククラスタをどれほど効果的に生成できるか？
• RQ3 このようなクラスタリングは、'land' が動詞または名詞として複数の意味をもつような多義語や文脈的変化をどの程度捉えることができるか？
• RQ4 得られたトピックモデルは、時間的トレンドの追跡や製品レビューにおけるアスペクト検出といった実用的コロナス分析タスクに効果的に応用できるか？
• RQ5 BERT と同様のアーキテクチャと事前学習目的を持つにもかかわらず、RoBERTa はなぜ BERT や GPT-2 よりも劣ったクラスタリングを生成するのか？

主な発見

• BERT と GPT-2 は、'land' が動詞や名詞として異なる意味をもつような多義語や文法的変化を捉える高品質なトピッククラスタを生成する。
• BERT と同様のアーキテクチャを持つにもかかわらず、RoBERTa は顕著に劣ったクラスタを生成し、しばしば非常に小さな、特定の、または解釈不能なトピックとなる。
• クラスタベースのトピックモデルは、トピック数を多く（例：K=500）しても高いトピック品質を維持でき、解釈可能性と一貫性において LDA を上回るか同等の性能を示す。
• 文脈化された埋め込みのトークンレベルのクラスタリングにより、製品カテゴリごとのトピック頻度推定や、年数にわたる時間的トレースといった実用的分析タスクが可能になる。
• カテゴリ間でエントロピーが低いトピック（例：'overkill'、'possibilities'、'time periods'）は、曖昧で主観的、または話法レベルのテーマを表しており、標準的なストップワードフィルタリングでは捉えきれない。
• この手法は追加の訓練や複雑な推論を必要とせず、既存の BERT スタイルのワークフローを活用するため、研究者がすでに文脈化モデルを使用している場合に、LDA の即時代替として利用可能である。