[論文レビュー] ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics

Hamed Rahimi, Hubert Naacke+2 more|arXiv (Cornell University)|Feb 3, 2023

Topic Modeling被引用数 4

ひとこと要約

ANTMは、時間に配慮したLLM埋め込みと重複するスライディングウインドウを用いた順次クラスタリングを活用する、新しいアルゴリズム的動的トピックモデルである。この手法により、時間経過に伴い変化するトピックを、期間ごとに変動するトピック数を伴って発見できる。ANTMは、期間間で意味的に類似したクラスタを整列させることでトピックの整合性と多様性を向上させ、BERTopic や DETM といった最先端のモデルを上回り、4つのデータセットで優れた性能を示した。特に ANTM-Data2Vec は最高のトピック品質スコアを達成した。

ABSTRACT

This paper presents an algorithmic family of dynamic topic models called Aligned Neural Topic Models (ANTM), which combine novel data mining algorithms to provide a modular framework for discovering evolving topics. ANTM maintains the temporal continuity of evolving topics by extracting time-aware features from documents using advanced pre-trained Large Language Models (LLMs) and employing an overlapping sliding window algorithm for sequential document clustering. This overlapping sliding window algorithm identifies a different number of topics within each time frame and aligns semantically similar document clusters across time periods. This process captures emerging and fading trends across different periods and allows for a more interpretable representation of evolving topics. Experiments on four distinct datasets show that ANTM outperforms probabilistic dynamic topic models in terms of topic coherence and diversity metrics. Moreover, it improves the scalability and flexibility of dynamic topic models by being accessible and adaptable to different types of algorithms. Additionally, a Python package is developed for researchers and scientists who wish to study the trends and evolving patterns of topics in large-scale textual data.

研究の動機と目的

• 固定されたトピック数を仮定する動的トピックモデルの限界、すなわちトピックの出現や消滅を正しく捉えられない点を是正すること。
• ソーシャルメディア監視などの短テキスト応用に適した、スケーラビリティと解釈可能性を向上させた動的トピックモデルの開発。
• 多様なアルゴリズムとLLMベースの特徴抽出をサポートするモジュラで柔軟なフレームワークの構築。
• 期間ごとに変動するトピック数を可能にし、現実のトピック進化をより正確に反映すること。
• 時間的ウインドウ間で意味的に類似したクラスタを整列させることで、トピック品質の向上。

提案手法

• 事前学習済みの大規模言語モデル（LLM）を用いて、時間に配慮した文書ベクトル表現を生成する。
• 重複するスライディングウインドウアルゴリズムを適用し、時間的文書ストリームを時間フレームに分割してクラスタリングに用いる。
• 各時間フレーム内で意味的類似性に基づいて順次文書クラスタリングを実行し、期間ごとに異なる数のトピックを許容する。
• ベクトル類似度を用いて、連続する時間フレーム間で意味的に類似したクラスタを整列させ、トピックの継続性を維持する。
• 整列したクラスタセットごとに語の表現を生成し、解釈可能な進化するトピックモデルを生成する。
• さまざまなLLMとクラスタリングアルゴリズムを統合可能なモularityを備え、異なるデータタイプに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 トピック数が期間ごとに変動する状況において、動的トピックモデルはトピックの進化を効果的に捉えることができるか？
• RQ2 時間経過に伴って意味的に類似したクラスタを整列させることで、トピックの整合性と多様性はどのように向上するか？
• RQ3 従来の確率的モデルと比較して、LLMベースの時間に配慮した埋め込みは、トピックモデルの品質をどの程度向上させるか？
• RQ4 アルゴリズム的動的トピックモデルは、短テキストデータにおいて確率的モデルの代替として、スケーラビリティと解釈可能性をより良く達成できるか？
• RQ5 グローバルクラスタリングと比較して、重複するスライディングウインドウアプローチは、時間的トピックダイナミクスをどの程度正確に保持できるか？

主な発見

• ANTM-Data2Vecは、DBLPおよびarXivの両データセットで最高のトピック品質スコアを記録し、BERTopic や DETM を上回った。
• arXivデータセットでは、ANTM-Data2VecがANTM-BERT や BERTopic より20%高い整合性を示し、DETM より15%低い値であった。
• ANTM-Data2VecはDETMのトピックよりも25%多様性が高く、BERTopic より約10%低い多様性を示した。
• アライメントクラスタリング手法は、グローバルクラスタリング手法と比較して、より多くの情報を保持し、より説明的で包括的な時間的トピック表現を提供した。
• ANTMは、期間ごとのトピック数の変動を活用することで、トピックの出現や消滅を捉えるという点で優れた解釈可能性を示した。
• 本モデルは強力なスケーラビリティと適応性を備えており、ソーシャルメディア分析などの大規模・短テキスト応用に適していることが示された。