[論文レビュー] Contextualized Topic Coherence Metrics

Hamed Rahimi, Jacob Louis Hoover+4 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 9

ひとこと要約

本論文は Contextualized Topic Coherence (CTC) を紹介する。LLMベースの指標ファミリーとして、トピックモデルの評価に用いられ、自動 CPMI ベースおよび半自動の侵入/評価アプローチを含み、特に短文におけるニューラルおよび伝統的なトピックモデルの一貫性評価で優れた性能を示す。

ABSTRACT

The recent explosion in work on neural topic modeling has been criticized for optimizing automated topic evaluation metrics at the expense of actual meaningful topic identification. But human annotation remains expensive and time-consuming. We propose LLM-based methods inspired by standard human topic evaluations, in a family of metrics called Contextualized Topic Coherence (CTC). We evaluate both a fully automated version as well as a semi-automated CTC that allows human-centered evaluation of coherence while maintaining the efficiency of automated methods. We evaluate CTC relative to five other metrics on six topic models and find that it outperforms automated topic coherence methods, works well on short documents, and is not susceptible to meaningless but high-scoring topics.

研究の動機と目的

• 文脈依存のトピック整合性指標が、人間の判断と一致し、ニューラルトピックモデルや短文を扱える必要性を動機づける。
• Contextualized Topic Coherence (CTC) を提案し、事前学習済みの LLM を活用してトピック語間の文脈依存性を推定する。
• 自動(CPMI ベース) および半自動(侵入/チャットボットによる評価) の 2つの CTC 変種を提供し、柔軟な評価を実現。
• 複数のトピックモデルとデータセットに対して CTC を標準の自動指標と比較評価し、有効性と頑健性を検証。

提案手法

• コーパス内のトピック語ペア間の文脈 PMI をスライディングウィンドウで用いた CPMI-based Contextualized Topic Coherence (CTC_CPMI) を定義。
• 半自動 CTC を、チャットボットベースの侵入検出と人間のようなトピック評価を用いて人間判断を近似。
• CTC 変種を、従来の自動指標（C_V, UCI, UMass, NPMI, DWR）と、2つのデータセット（20Newsgroups と Elon Musk tweets） の6つのトピックモデルに渡って比較。
• 大規模データセットでの計算可能性を確保するため、BERT-based モデルから事前計算された CPMI を使用して CTC_CPMI の計算を可能にする。
• 相関分析と定性的なトピック検査を含む構造化評価プロトコルを取り入れ、CTC とベースライン指標の違いを示す。

実験結果

リサーチクエスチョン

• RQ1 文脈化された、LLM ベースの coherence 指標（CTC）は、従来の自動指標よりも人間の解釈性との整合性が高いのか？
• RQ2 自動化された CTC は、ニューラルトピックモデルと短文データを既存指標よりも頑健に扱えるのか？
• RQ3 自動版と半自動版の CTC は、多様なトピックモデルとデータセットに対してベースライン指標と比較してどうか？
• RQ4 CTC 指標は、従来の指標で高評価になりがちな意味のない“trash”トピックを検出してペナルティを課すことができるのか？

主な発見

• CTC は、評価対象のモデルとデータセットに対して従来の自動一貫性指標よりも優れている。
• CTC_CPMI は、ベースライン指標とは異なる相関を示すことが多く、特に短文では人間の解釈性とより一致する。
• CTC_Intrusion および CTC_Rating は、CPMIベースのスコアと独立して動作し、チャットボットを介して人間のような一貫性信号に反応できる。
• 特定のニューラルトピックモデルは、ベースライン指標で高得点だが意味のないトピックを生成することがあり、CTC は文脈理解によって低く ranking できる。
• CTC は短い文書に対して頑健で、意味のないトピックによる不正な高得点の影響を減らす。