[논문 리뷰] Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence

Federico Bianchi, Silvia Terragni외 1명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델에서 유도된 문맥 기반 문서 임베딩(SBERT를 구체적으로 언급)을 신경망 주제 모델에 통합하여 주제 모델링 성능을 향상시키는 방법을 제안한다. 특히 ProdLDA를 문장 수준의 문맥 표현으로 확장한다. 제안된 방법은 다양한 데이터셋에서 주제 일관성에 있어 유의미한 향상을 보이며, 기존의 bag-of-words 모델과 기존의 신경망 주제 모델을 초월해 잠재적 문맥 정보가 주제 품질을 향상시킬 수 있음을 입증한다.

ABSTRACT

Topic models extract groups of words from documents, whose interpretation as a topic hopefully allows for a better understanding of the data. However, the resulting word groups are often not coherent, making them harder to interpret. Recently, neural topic models have shown improvements in overall coherence. Concurrently, contextual embeddings have advanced the state of the art of neural models in general. In this paper, we combine contextualized representations with neural topic models. We find that our approach produces more meaningful and coherent topics than traditional bag-of-words topic models and recent neural models. Our results indicate that future improvements in language models will translate into better topic models.

연구 동기 및 목표

• 문맥 기반 단어 및 문장 표현을 통합하여 신경망 주제 모델의 주제 일관성을 향상시키기.
• 구조적이고 의미적인 관계를 간과하는 bag-of-words(BoW) 표현 방식의 한계를 해결하기.
• SBERT와 같은 사전 훈련된 문맥 임베딩이 주제 모델링 성능을 향상시킬 수 있는지 조사하기.
• 언어 모델링 분야의 발전이 더 나은 문맥 이해를 통해 주제 모델링 성능 향상에 직접 기여할 수 있음을 입증하기.
• 기존의 신경망 주제 모델에 문맥 임베딩을 통합할 수 있는 단순하고 확장 가능한 프레임워크 제공하기.

제안 방법

• ProdLDA 신경망 주제 모델의 bag-of-words 입력을 SBERT에서 유도된 문맥 기반 문서 임베딩으로 대체하여 확장한다.
• SBERT를 사용해 전체 문서의 문장 임베딩을 생성하여 의미적 및 문법적 맥락을 포착한다.
• 원래의 BoW 표현과 SBERT 임베딩을 결합하여 신경망 주제 모델의 입력으로 사용한다.
• 변분 하한을 최적화하기 위해 블랙박스 변분 추론을 사용하여 모델을 훈련시킨다.
• SBERT 임베딩을 어휘 크기와 동일한 차원으로 맞추기 위해 밀집층을 통과시킨다.
• 어떤 오토인코더 기반 주제 모델과 어떤 사전 훈련된 문장 인코더와도 호환되도록 하여 모듈성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 bag-of-words 입력에 비해 문맥 기반 문서 임베딩이 신경망 주제 모델의 주제 일관성에 기여하는가?
• RQ2 사전 훈련된 문맥 표현의 통합이 주제의 다양성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 문장 인코더의 선택(예: RoBERTa 대비 BERT)이 주제 일관성 성능에 영향을 미치는가?
• RQ4 언어 모델의 성능 향상이 얼마나 주제 모델링 결과 향상으로 이어지는가?
• RQ5 SBERT와 같은 모델의 입력 길이 제한에도 불구하고, 장문의 문서는 문맥 임베딩을 통해 효과적으로 표현될 수 있는가?

주요 결과

• 제안된 CombinedTM 모델은 기존의 BoW 기반 모델과 MetaLDA와 같은 최신 신경망 주제 모델보다 유의미하게 높은 주제 일관성을 확보하였으며, 모든 데이터셋에서 t-검정에서 p < 0.05를 기록하였다.
• 20Newsgroups 데이터셋에서 모델은 가중 평균 일관성 점수 0.12를 기록하였으며, MetaLDA의 0.13을 뛰어넘는 데는 최고의 경우에만 성공했지만, 다른 데이터셋에서는 일관된 향상을 보였다.
• Wiki20K 데이터셋에서 모델은 100개의 주제로 구성된 경우 일관성 점수 0.18을 기록하였으며, MetaLDA의 0.13보다 유의미하게 높았다(p < 0.05).
• RoBERTa 기반 SBERT(stsb-roberta-large)를 사용할 경우 BERT 기반 SBERT(bert-base-nli-mean)보다 더 높은 일관성 점수를 기록하여, 문맥 인코더의 품질이 성능에 중요한 영향을 미친다는 것을 시사한다.
• 모델은 유의미한 일관성 향상을 보이면서도 경쟁 가능한 주제 다양성을 유지하여 주제 품질 향상의 균형 잡힌 결과를 보였다.
• 결과는 향후 사전 훈련된 언어 모델의 발전이 더 나은 문맥 표현 학습을 통해 주제 모델링에 직접적인 이점을 가져올 수 있음을 시사한다.