[논문 리뷰] Effective Neural Topic Modeling with Embedding Clustering Regularization

Xiaobao Wu, Xinshuai Dong외 2명|arXiv (Cornell University)|2023. 06. 07.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 Embedding Clustering Regularization을 통한 ECRTM을 소개하며, 각 토픽 중심을 서로 다른 단어 임베딩 클러스터로 만들어 토픽 임베딩 붕괴를 방지하고 토픽 품질과 문서 분포를 향상시킨다.

ABSTRACT

Topic models have been prevalent for decades with various applications. However, existing topic models commonly suffer from the notorious topic collapsing: discovered topics semantically collapse towards each other, leading to highly repetitive topics, insufficient topic discovery, and damaged model interpretability. In this paper, we propose a new neural topic model, Embedding Clustering Regularization Topic Model (ECRTM). Besides the existing reconstruction error, we propose a novel Embedding Clustering Regularization (ECR), which forces each topic embedding to be the center of a separately aggregated word embedding cluster in the semantic space. This enables each produced topic to contain distinct word semantics, which alleviates topic collapsing. Regularized by ECR, our ECRTM generates diverse and coherent topics together with high-quality topic distributions of documents. Extensive experiments on benchmark datasets demonstrate that ECRTM effectively addresses the topic collapsing issue and consistently surpasses state-of-the-art baselines in terms of topic quality, topic distributions of documents, and downstream classification tasks.

연구 동기 및 목표

• 발견된 토픽이 의미적으로 유사하고 반복되는 문제인 토픽 붕괴를 해결한다.
• Embedding Clustering Regularization(ECR)으로 구별된 토픽 의미를 강제한다.
• 토픽 모델링과 임베딩 클러스터링을 공동 최적화하여 토픽 품질과 문서-주제 분포를 개선한다.
• 표준 벤치마크에서 최첨단 베이스라인보다 우수한 성능을 시연한다.

제안 방법

• 토픽 임베딩을 중심으로 단어 임베딩을 샘플로 보는 최적 운송 프레임워크에서 Embedding Clustering Regularization(ECR)을 도입한다.
• 단어 임베딩과 토픽 임베딩 간의 차원에 대한 미분 가능한 클러스터링 계획을 계산하기 위해 엔트로피 정규화된 최적 운송(Sinkhorn)을 사용한다.
• 빈 클러스터를 방지하고 각 토픽이 별도의 단어-임베딩 클러스터를 형성하도록 균일한 클러스터 크기를 규정한다.
• 문서를 재구성하고 문서-주제 분포를 학습하는 VAE 스타일 목표를 통해 학습된 토픽 모델과 함께 ECR를 신경망 토픽 모델에 통합한다.
• 단어 임베딩과 토픽 임베딩 간의 거리의 소프트맥스 확장으로 토픽-단어 분포를 정의하여 학습된 클러스터링을 반영한다.
• 합의 목적 함수: L_TM + lambda_ECR * L_ECR를 최적화하여 토픽과 임베딩 클러스터를 공동 학습한다.

실험 결과

연구 질문

• RQ1 임베딩 클러스터링 정규화가 신경망 토픽 모델에서 토픽 붕괴를 완화하는가?
• RQ2 공동으로 최적화된 ECRTM이 높은 품질의 문서-주제 분포를 유지하면서 더 다양하고 일관된 토픽을 생산하는가?
• RQ3 ECRTM이 토픽 품질과 문서 클러스터링 작업에서 최첨단 베이스라인과 어떻게 비교되는가?
• RQ4 균일한 클러스터 크기 제약이 비어 있는 클러스터를 예방하고 토픽 커버리지를 개선하는 데 어떤 영향을 미치는가?

주요 결과

Model	20NG CV	20NG TD	IMDB CV	IMDB TD	Yahoo CV	Yahoo TD	AG News CV	AG News TD
LDA	0.385	0.367	0.655	0.364	0.387	0.347	0.622	0.364
KM	0.251	0.213	0.204	0.219	0.294	0.244	0.317	0.302
DVAE	0.331	0.294	0.598	0.050	0.372	0.290	0.658	0.589
ETM	0.375	0.347	0.704	0.660	0.369	0.394	0.573	0.648
HyperMiner	0.371	0.347	0.613	0.655	0.368	0.454	0.446	0.641
NSTM	0.395	0.334	0.427	0.658	0.383	0.659	0.473	0.764
WeTe	0.383	0.368	0.949	0.587	0.352	0.589	0.742	0.699
ECRTM	0.431	0.466	0.964	0.961	0.405	0.466	0.904	0.961

• ECRTM은 데이터셋 전반에서 토픽 다양성(TD)이 더 높고 일관성(C_V)이 기존 베이스라인에 비해 경쟁력 있거나 우수하다.
• ECRTM은 기존 모델보다 더 뚜렷한 토픽 의미를 가지며 토픽 붕괴가 감소한다.
• 문서 클러스터링 품질(순도 및 NMI)이 ECRTM 하에서 향상되어 더 나은 문서-주제 분포를 시사한다.
• 벤치마크(20NG, IMDB, Yahoo Answer, AG News) 전반에서 토픽 품질 및 다운스트림 클러스터링 지표 모두에서 ECRTM이 베이스라인을 능가한다.
• 정규화가 토픽 품질을 보존하거나 향상시키면서 붕괴를 효과적으로 완화한다는 것을 보여준다.