[論文レビュー] BERTopic: Neural topic modeling with a class-based TF-IDF procedure

Maarten Grootendorst|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用数 1,276

ひとこと要約

BERTopicは文書埋め込み、次元削減、およびクラスベースTF-IDFを組み合わせて、クラスタ化された埋め込みから一貫したトピック表現を生成し、さまざまなデータセットと言語モデルで競争力のある性能を示します。

ABSTRACT

Topic models can be useful tools to discover latent topics in collections of documents. Recent studies have shown the feasibility of approach topic modeling as a clustering task. We present BERTopic, a topic model that extends this process by extracting coherent topic representation through the development of a class-based variation of TF-IDF. More specifically, BERTopic generates document embedding with pre-trained transformer-based language models, clusters these embeddings, and finally, generates topic representations with the class-based TF-IDF procedure. BERTopic generates coherent topics and remains competitive across a variety of benchmarks involving classical models and those that follow the more recent clustering approach of topic modeling.

研究の動機と目的

• 語彙ベース表現の限界を克服するために、意味表現を用いたトピックモデリングを動機づける。
• 埋め込み、クラスタリング、トピック表現という柔軟な3段階のBERTopicパイプラインを導入する。
• トピック語の分布のためのクラスベースTF-IDF（c-TF-IDF）を提案・検証する。
• データセットと言語モデルを横断した堅牢性と柔軟性を示し、動的トピックモデリング機能を含む。

提案手法

• 事前学習済み言語モデル（SBERT系）を用いて文書埋め込みを生成する。
• HDBSCANでクラスタリングする前にUMAPで埋め込み次元を削減する。
• クラスタを結合文書として扱い、クラスベースTF-IDF（c-TF-IDF）を適用してトピック表現を作成する。
• ユーザー指定のトピック数に達するまで、c-TF-IDF表現を反復的に統合する。
• 任意で、c-TF-IDF行列を用いてグローバルトピックとローカルタイムステップ表現を生成し、動的トピックをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 BERTopicはさまざまな埋め込みモデルを用いて、多様なデータセットに対して一貫性があり多様なトピックを生成できますか？
• RQ2 埋め込み/クラスタリングとトピック表現を切り離すことは、トピックモデリングの堅牢性と柔軟性を高めますか？
• RQ3 クラスベースTF-IDFはクラスタのセマンティクスを反映した意味のあるトピック語分布を提供しますか？
• RQ4 伝統的な動的トピックモデルと比較して、動的/トピック進化シナリオにおけるBERTopicの性能はどうですか？

主な発見

• BERTopicはデータセット全体で高いトピック一貫性を示し、トピックの多様性でも競争力を保つ。
• BERTopicの性能は異なる言語モデル間で安定しており、より小さなモデルは速度と性能のトレードオフが有利である。
• 動的トピックモデリングにおいて、線形進化仮定の有無にかかわらずBERTopicは良好に機能し、進化仮定の影響は限定的である。
• 特に遅いベースラインを除けば、BERTopicは一部のニューラルモデルより速くなる可能性があり、その速度は埋め込みモデルの選択とともにスケールする。
• 埋め込み、クラスタリング、トピック表現を分離することは、再クラスタリングせずに表現を更新するなどの柔軟性を可能にする。