[논문 리뷰] Neural Topic Modeling with Bidirectional Adversarial Training

Rui Wang, Xuemeng Hu외 5명|arXiv (Cornell University)|2020. 04. 26.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 문서-주제 분포와 문서-단어 분포 간 이방향 투자적 학습을 사용하는 최초의 신경 주제 모델인 이방향 적대적 주제(Bidirectional Adversarial Topic, BAT)와 그 확장형인 가우시안-BAT를 제안한다. 딜리클레 사전확률과 단어 임베딩을 통합함으로써, BAT와 가우시안-BAT는 기존 기준 모델 대비 주제 일관성과 텍스트 군집화 정확도 6% 향상을 달성한다.

ABSTRACT

Recent years have witnessed a surge of interests of using neural topic models for automatic topic extraction from text, since they avoid the complicated mathematical derivations for model inference as in traditional topic models such as Latent Dirichlet Allocation (LDA). However, these models either typically assume improper prior (e.g. Gaussian or Logistic Normal) over latent topic space or could not infer topic distribution for a given document. To address these limitations, we propose a neural topic modeling approach, called Bidirectional Adversarial Topic (BAT) model, which represents the first attempt of applying bidirectional adversarial training for neural topic modeling. The proposed BAT builds a two-way projection between the document-topic distribution and the document-word distribution. It uses a generator to capture the semantic patterns from texts and an encoder for topic inference. Furthermore, to incorporate word relatedness information, the Bidirectional Adversarial Topic model with Gaussian (Gaussian-BAT) is extended from BAT. To verify the effectiveness of BAT and Gaussian-BAT, three benchmark corpora are used in our experiments. The experimental results show that BAT and Gaussian-BAT obtain more coherent topics, outperforming several competitive baselines. Moreover, when performing text clustering based on the extracted topics, our models outperform all the baselines, with more significant improvements achieved by Gaussian-BAT where an increase of near 6\% is observed in accuracy.

연구 동기 및 목표

• 기존의 신경 주제 모델이 과도한 사전확률(예: 가우시안 또는 로지스틱 정규분포)에 의존하여 다중모드 주제 분포를 포착하지 못하는 한계를 해결한다.
• ATM와 같은 모델이 문서-주제 분포를 추론하지 못해 텍스트 군집화와 같은 후속 응용에 장애가 되는 문제를 해결한다.
• 사전 학습된 단어 임베딩에서의 단어 유사성 정보를 통합하여 주제의 의미적 품질을 향상시킨다.
• 문서-주제 및 문서-단어 분포 매핑을 동시에 최적화하는 이방향 적대적 훈련 프레임워크를 개발한다.
• 기준 베이스라인 대비 더 높은 주제 일관성과 군집화 성능을 달성한다.

제안 방법

• 생성자(generator)가 문서-주제 분포를 문서-단어 분포로 매핑하고, 인코더(encoder)가 그 역행 매핑을 수행하는 이방향 적대적 훈련 프레임워크를 제안한다.
• 진짜와 가짜(생성된) 문서-주제 및 문서-단어 분포 쌍을 구분하는 디스criminator를 사용하여, 생성자와 인코더 양쪽에 적대적 신호를 제공함으로써 성능을 향상시킨다.
• 주제를 딜리클레 사전확률로 모델링하여 로지스틱-노멀 사전확률보다 다중모드 주제 구조를 더 잘 포착한다.
• 각 주제를 생성자 내에서 다변량 가우시안으로 표현함으로써 BAT를 가우시안-BAT로 확장함으로써, 단어 임베딩 정보를 활용하여 의미 모델링을 향상시킨다.
• 생성자와 인코더를 백프로파게이션을 통해 함께 최적화하는 방식으로 엔드 투 엔드로 모델을 훈련시킨다.
• 생성자에 사전 학습된 단어 임베딩을 통합하여 단어 유사성 정보를 모델링함으로써 주제 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일방향 또는 자동에코딩 방식에 비해 이방향 적대적 훈련이 신경 주제 모델의 주제 모델링 품질을 향상시키는가?
• RQ2 신경 프레임워크 내에서 주제를 딜리클레 사전확률로 모델링할 경우, 로지스틱-노멀 또는 가우시안 사전확률보다 더 일관성 있고 해석 가능한 주제를 도출할 수 있는가?
• RQ3 사전 학습된 단어 임베딩 정보를 통합할 경우 주제 일관성과 후속 군집화 성능에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 모델은 새로운 문서에 대해 문서-주제 분포를 추론할 수 있는가? 이는 군집화 및 분류 응용에서 실용적인 활용 가능성을 뜻한다.
• RQ5 BAT와 가우시안-BAT는 다양한 기준 베이스라인 데이터셋에서 최신 신경 주제 모델 대비 성능이 어떻게 비교되는가?

주요 결과

• 가우시안-BAT는 모든 데이터셋과 평가 지표에서 가장 높은 주제 일관성을 달성하며, LDA 및 ProdLDA를 포함한 모든 기준 모델을 능가한다.
• 20Newsgroups 데이터셋에서 가우시안-BAT는 두 번째로 우수한 모델인 BAT보다 약 6% 높은 정확도(41.25%)를 기록하여 텍스트 군집화 정확도를 크게 향상시켰다.
• BAT는 모든 데이터셋과 주제 수에서 주제 일관성에서 항상 상위 두 모델 중 하나를 차지한다. 유일한 예외는 20Newsgroups에서 ProdLDA와 LDA가 약간 더 뛰어난 성능을 보인 경우이다.
• 주제 수를 100으로 설정했을 때 가우시안-BAT의 성능은 LDA에 비해 약간 저하되었는데, 이는 모델 복잡도 증가로 인한 것으로 보인다.
• 가우시안-BAT에서 단어 임베딩의 사용은 군집화 성능 향상으로 이어져 주제의 의미적 품질 향상을 뚜렷하게 증명한다.
• 이방향 적대적 훈련 프레임워크는 주제 분포와 단어 분포 간 효과적인 이방향 매핑을 가능하게 하여 모델의 강건성과 일반화 능력을 향상시켰다.