[論文レビュー] Effective Neural Topic Modeling with Embedding Clustering Regularization

Xiaobao Wu, Xinshuai Dong+2 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 10

ひとこと要約

論文は Embedding Clustering Regularization を備えたニューラルトピックモデル ECRTM を導入し、各トピックの中心を明確な語彙埋め込みクラスタにしてトピック埋め込みの崩壊を防ぎ、トピック品質と文書分布を向上させます。

ABSTRACT

Topic models have been prevalent for decades with various applications. However, existing topic models commonly suffer from the notorious topic collapsing: discovered topics semantically collapse towards each other, leading to highly repetitive topics, insufficient topic discovery, and damaged model interpretability. In this paper, we propose a new neural topic model, Embedding Clustering Regularization Topic Model (ECRTM). Besides the existing reconstruction error, we propose a novel Embedding Clustering Regularization (ECR), which forces each topic embedding to be the center of a separately aggregated word embedding cluster in the semantic space. This enables each produced topic to contain distinct word semantics, which alleviates topic collapsing. Regularized by ECR, our ECRTM generates diverse and coherent topics together with high-quality topic distributions of documents. Extensive experiments on benchmark datasets demonstrate that ECRTM effectively addresses the topic collapsing issue and consistently surpasses state-of-the-art baselines in terms of topic quality, topic distributions of documents, and downstream classification tasks.

研究の動機と目的

• トピックが発見されると意味的に類似し繰り返しになる問題であるトピック崩壊に対処する。
• トピックの意味を明確にする Embedding Clustering Regularization (ECR) を提案する。
• トピックモデリングと埋め込みクラスタリングを jointly 最適化してトピック品質と文書トピック分布を改善する。
• 標準ベンチマークにおいて最先端ベースラインより優れた性能を示す。

提案手法

• Embedding Clustering Regularization (ECR) を導入し、トピック埋め込みを中心として語彙埋め込みを最適輸送フレームワーク内のサンプルとしてモデル化する。
• エントロピック正則化付き最適輸送（Sinkhorn）を用いて語彙埋め込みとトピック埋め込み間の微分可能なクラスタリング計画を計算する。
• 空のクラスタを避け、各トピックが別個の語彙埋め込みクラスタを形成するように一様なクラスタサイズを規定する。
• ECR を VAE風の目的で学習するニューラルトピックモデルと統合し、文書を再構成し文書–トピック分布を学習する。
• 語彙埋め込みとトピック埋め込み間の距離をソフトマックスで定義し、学習されたクラスタリングを反映するトピック-語彙分布を定義する。
• 総目的関数 L_TM + lambda_ECR * L_ECR を最適化し、トピックと埋め込みクラスタの同時学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Embedding Clustering Regularization はニューラルトピックモデルにおけるトピック崩壊を緩和するか？
• RQ2 jointly 最適化された ECRTM は高品質な文書トピック分布を維持しつつより多様で一貫性のあるトピックを生み出せるか？
• RQ3 ECRTM はトピック品質と文書クラスタリングタスクにおいて最先端ベースラインと比較してどうか？
• RQ4 一様クラスタサイズ制約は空クラスタの防止とトピックカバレッジの改善にどのような影響を与えるか？

主な発見

モデル	20NG CV	20NG TD	IMDB CV	IMDB TD	Yahoo CV	Yahoo TD	AG News CV	AG News TD
LDA	0.385	0.367	0.655	0.364	0.387	0.347	0.622	0.364
KM	0.251	0.213	0.204	0.219	0.294	0.244	0.317	0.302
DVAE	0.331	0.294	0.598	0.050	0.372	0.290	0.658	0.589
ETM	0.375	0.347	0.704	0.660	0.369	0.394	0.573	0.648
HyperMiner	0.371	0.347	0.613	0.655	0.368	0.454	0.446	0.641
NSTM	0.395	0.334	0.427	0.658	0.383	0.659	0.473	0.764
WeTe	0.383	0.368	0.949	0.587	0.352	0.589	0.742	0.699
ECRTM	0.431	0.466	0.964	0.961	0.405	0.466	0.904	0.961

• ECRTM はデータセット全体でベースラインと比較してトピック多様性 (TD) が高く、コヒーレンス (C_V) も競合的または優れている。
• ECRTM は従来モデルよりも明確なトピック意味論を持つトピック崩壊を抑制している。
• 文書クラスタリング品質（純度と NMI）も ECRTM の下で向上し、文書-トピック分布が改善されている。
• ベンチマーク（20NG、IMDB、Yahoo Answer、AG News）全体で、トピック品質と下流クラスタリング指標の両方で ECRTM がベースラインを上回る。
• 正則化は崩壊を効果的に緩和しつつトピック品質を維持または向上させることを示している。