[논문 리뷰] Coherence-Aware Neural Topic Modeling

Ran Ding, Ramesh Nallapati외 1명|arXiv (Cornell University)|2018. 09. 07.

Topic Modeling참고 문헌 17인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 단어 임베딩을 사용하여 NPMI에 대한 미분 가능한 대체 지표를 통합함으로써 주제 일관성(topic coherence)을 훈련 과정에 통합하는 NTM-R이라는 신경 주제 모델을 제안한다. 퍼플렉서티와 함께 일관성을 최적화함으로써 NTM-R은 퍼플렉서티 손실을 최소화하면서도 주제 일관성(NPMI)을 크게 향상시켜 DailyKOS, NIPS, NYTimes를 포함한 다양한 데이터셋에서 기준 모델들을 능가한다.

ABSTRACT

Topic models are evaluated based on their ability to describe documents well (i.e. low perplexity) and to produce topics that carry coherent semantic meaning. In topic modeling so far, perplexity is a direct optimization target. However, topic coherence, owing to its challenging computation, is not optimized for and is only evaluated after training. In this work, under a neural variational inference framework, we propose methods to incorporate a topic coherence objective into the training process. We demonstrate that such a coherence-aware topic model exhibits a similar level of perplexity as baseline models but achieves substantially higher topic coherence.

연구 동기 및 목표

• 퍼플렉서티는 최적화되지만 주제 일관성은 훈련 후 평가되는 주제 모델링의 격차를 해소하기 위해.
• 신경 변분 추론 프레임워크에 통합될 수 있는, 주제 일관성에 대한 미분 가능한 훈련 가능한 목적함수를 개발하기 위해.
• 문서 재구성 성능(퍼플렉서티)을 희생시키지 않고 주제의 해석 가능성(의미의 명확성)을 향상시키기 위해.
• 다양한 텍스트 데이터셋에서 단어 임베딩 기반 주제 일관성 정규화의 효과를 검증하기 위해.

제안 방법

• 단어 임베딩 간의 코사인 유사도를 사용하여 상호정보량 항을 근사함으로써, NPMI에 대한 미분 가능한 대체 지표인 WETC(Word Embedding-based Topic Coherence)를 제안한다.
• 퍼플렉서티와 일관성을 동시에 최적화하기 위해 ELBO 목적함수에 WETC를 정규화 항으로 추가한 신경 주제 모델 NTM-R을 도입한다.
• 사전에 훈련된 GloVe 단어 임베딩을 사용하여 WETC를 계산함으로써, 비가역적인 검색 없이도 의미 유사도를 활용해 NPMI를 근사한다.
• 주제-단어 행렬을 단어 임베딩을 통해 제약하는 인자분해 제약(NTM-F)을 도입함으로써, 암묵적으로 일관성을 증진시킨다.
• 정규화와 인자분해 접근법을 모두 통합한 NTM-FR을 제안하여, 일관성을 향상시키면서도 훈련 안정성을 유지한다.
• 고정된 초모수를 사용하여 Adadelta 옵timizer로 모델을 훈련하며, 일관성 정규화 계수 λ = 50를 설정한다.

실험 결과

연구 질문

• RQ1 신경 주제 모델에서 주제 일관성이 훈련 중에 효과적으로 최적화될 수 있는가, 아니면 단지 후행 평가에만 국한되는가?
• RQ2 단어 임베딩를 사용하여 NPMI의 미분 가능한 근사치를 구성할 수 있는가, 이를 통해 엔드 투 엔드 훈련이 가능한가?
• RQ3 일관성 인식 정규화를 통합함으로써 주제의 해석 가능성은 향상되지만 퍼플렉서티 성능은 떨어지지 않는가?
• RQ4 제안된 방법은 다양한 어휘 크기와 문서 유형을 가진 다양한 텍스트 데이터셋에 일반화되는가?

주요 결과

• NTM-R은 NTM, NVDM, GSM, ProdLDA와 같은 기준 모델들보다 훨씬 높은 주제 일관성(NPMI)을 달성하면서도 유사하거나 더 낮은 퍼플렉서티 수준을 유지한다.
• DailyKOS, NIPS, NYTimes 데이터셋에서 NTM-R은 동일한 퍼플렉서티 수준에서 일관성을 지속적으로 향상시켜 다양한 도메인 간 일반화 능력을 입증한다.
• NYTimes 데이터셋은 명시적 명사어(명사어) 비율이 높아 NPMI 점수에 왜곡이 발생했을 가능성이 있어, WETC 개선에는 비록 눈에 띄게 효과가 있었지만 NPMI 향상은 미미했다.
• NTM-F와 NTM-FR은 높은 초기 NPMI를 기록했지만 훈련 중에 유지되지 못했고, 퍼플렉서티가 높아지는 방향으로 수렴하여 파rameter 공간이 축소되면서 안정성이 떨어지는 것으로 나타났다.
• NTM-R은 퍼플렉서티 대비 NPMI의 파레토 최적 경계에 위치하여, 대부분의 성능 스펙트럼에서 다른 신경 주제 모델들보다 열등한 트레이드오프를 제공한다.
• WETC 기반 정규화 방법은 다양한 데이터셋에 효과적이며, 이는 그 강건성과 확장성의 타당성을 입증한다.