[논문 리뷰] CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling

Zheng Fang, Yulan He외 1명|arXiv (Cornell University)|2023. 05. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT의 문맥화된 단어 임베딩을 활용하여 봉투-오브-워즈(BOW) 표현에 의존하지 않고 문서 수준 및 단어 수준의 주제 벡터를 학습하는 새로운 신경 주제 모델인 CWTM을 제안한다. BERT의 문맥화된 임베딩을 직접 잠재 주제로 매핑함으로써 CWTM은 주제 일관성과 OOV(보편 외 단어) 단어에 대한 강건성을 향상시켜, 다양한 데이터셋에서 LDA 및 기타 신경 주제 모델을 능가한다.

ABSTRACT

Most existing topic models rely on bag-of-words (BOW) representation, which limits their ability to capture word order information and leads to challenges with out-of-vocabulary (OOV) words in new documents. Contextualized word embeddings, however, show superiority in word sense disambiguation and effectively address the OOV issue. In this work, we introduce a novel neural topic model called the Contextlized Word Topic Model (CWTM), which integrates contextualized word embeddings from BERT. The model is capable of learning the topic vector of a document without BOW information. In addition, it can also derive the topic vectors for individual words within a document based on their contextualized word embeddings. Experiments across various datasets show that CWTM generates more coherent and meaningful topics compared to existing topic models, while also accommodating unseen words in newly encountered documents.

연구 동기 및 목표

• 봉투-오브-워즈(BOW) 표현에 의존하는 전통적 주제 모델의 한계를 해결하기 위해, 단어 순서를 忽시하고 OOV 단어로 어려움을 겪는 문제를 해결하고자 한다.
• BERT의 문맥화된 단어 임베딩을 주제 모델링에 통합하여 맥락 의존적 의미를 포착하고 주제 품질을 향상시키고자 한다.
• 문맥화된 임베딩에서 직접 문서 수준 및 단어 수준의 주제 벡터를 학습하여 BOW에 대한 의존도를 제거하고자 한다.
• 명명된 실체 인식(NER)과 같은 후행 NLP 작업을 통해 학습된 단어-주제 벡터의 의미적 유의미성을 평가하고자 한다.
• 모델이 새로 등장하는 문서에서 OOV 단어에 대해 강건한 성능을 유지하는지 입증하고자 한다.

제안 방법

• CWTM는 각 단어의 BERT 문맥화된 임베딩을 학습 가능한 투영 레이어를 통해 잠재 주제 벡터로 매핑한다.
• 문서 수준의 주제 벡터는 동일 문서 내 단어-주제 벡터에 대한 가중 평균 풀링을 통해 생성된다.
• 모델은 재구성 손실을 사용하여 문맥화된 임베딩과 학습된 주제 벡터 간의 관계를 유지하도록 엔드 투 엔드로 훈련된다.
• 단어-주제 벡터는 훈련 중에 문서-주제 벡터와 함께 공동 최적화되어, 단어 수준과 문서 수준에서의 주제 구조를 동시에 추론할 수 있도록 한다.
• 모델은 입력으로 BOW 표현을 필요로 하지 않으며, 원시 텍스트와 BERT의 문맥화된 임베딩에만 의존한다.
• NER와 같은 후행 작업은 CWTM가 학습한 단어-주제 벡터를 BERT의 마지막 레이어 임베딩과 연결하여 평가한다.

실험 결과

연구 질문

• RQ1 봉투-오브-워즈 표현을 회피하고 BERT의 문맥화된 단어 임베딩을 사용하는 신경 주제 모델이 더 높은 일관성과 의미적인 주제를 생성할 수 있는가?
• RQ2 기존 주제 모델에 비해 이 모델은 OOV 문제를 어느 정도 완화하는가?
• RQ3 학습된 단어-주제 벡터는 의미적으로 의미 있고 후행 NLP 작업에 유용한가?
• RQ4 LDA 및 기타 신경 주제 모델과 비교할 때, 주제 일관성 및 문서 분류 성능 측면에서 모델의 성능은 어떠한가?
• RQ5 다양한 OOV 단어 비율을 가진 문서 간에도 모델의 성능이 일관되게 유지되는가?

주요 결과

• CWTM는 다섯 개인프레임워크 데이터셋에서 LDA 및 기타 신경 주제 모델보다 더 높은 주제 일관성 점수를 기록했으며, C_V에서 평균 0.093, UCI에서 평균 0.163 향상되었다.
• OOV 강건성 테스트에서 CWTM는 Test1(≥90% 본 단어)과 Test2(≤70% 본 단어) 간 정확도 차이가 가장 작았으며(0.021±0.005), 미리 보지 않은 단어를 더 잘 처리함을 시사했다.
• CoNLL2003 NER 작업에서 BERT 임베딩과 CWTM의 단어-주제 벡터를 결합함으로써 F1 점수가 0.814에서 0.828로 향상되었으며, 통계적으로 유의미한 t-검정 결과(t = -3.75, p = 0.003)를 보였다.
• 모델은 다양한 데이터셋에서 일관된 성능을 보였으며, 본문 및 OOV가 많은 테스트 세트에서 기준 모델보다 문서 분류 성능이 뛰어났다.
• CWTM가 학습한 단어-주제 벡터는 후행 NER 성능 향상으로써 의미적으로 의미 있는 것으로 확인되었으며, 이는 그 유의미성의 증거가 되었다.
• CWTM는 BOW 표현에 대한 의존도를 성공적으로 제거하면서도 주제 모델링 성능을 유지하거나 향상시켰다.