[논문 리뷰] Representing Mixtures of Word Embeddings with Mixtures of Topic Embeddings

Dongsheng Wang, Dandan Guo외 5명|arXiv (Cornell University)|2022. 03. 03.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 문서를 단어 임베딩과 주제의 혼합으로 표현하고, 주제도 공유된 의미 공간 내에서 학습 가능한 임베딩 벡터로 표현하는 새로운 주제 모델링 프레임워크인 WeTe를 제안한다. 이중성 최적 운반 방법을 사용해 단어 임베딩과 주제 임베딩 간의 최적 운반 비용을 최소화함으로써, 확률적 경사 하강법을 통한 확장성 있고 종단 간 학습이 가능해지며, 짧은 텍스트와 긴 텍스트 모두에서 주제 일관성, 다양성 및 문서 표현 성능 측면에서 최신 기술 수준의 성능을 달성한다. 특히 사전 훈련된 단어 임베딩과 조합할 경우 더욱 뛰어난 성능을 발휘한다.

ABSTRACT

A topic model is often formulated as a generative model that explains how each word of a document is generated given a set of topics and document-specific topic proportions. It is focused on capturing the word co-occurrences in a document and hence often suffers from poor performance in analyzing short documents. In addition, its parameter estimation often relies on approximate posterior inference that is either not scalable or suffers from large approximation error. This paper introduces a new topic-modeling framework where each document is viewed as a set of word embedding vectors and each topic is modeled as an embedding vector in the same embedding space. Embedding the words and topics in the same vector space, we define a method to measure the semantic difference between the embedding vectors of the words of a document and these of the topics, and optimize the topic embeddings to minimize the expected difference over all documents. Experiments on text analysis demonstrate that the proposed method, which is amenable to mini-batch stochastic gradient descent based optimization and hence scalable to big corpora, provides competitive performance in discovering more coherent and diverse topics and extracting better document representations.

연구 동기 및 목표

• 기존 주제 모델이 짧은 문서를 다루는 데서 및 베이지안 및 신경 주제 모델의 확장성 문제에서 비롯하는 한계를 해결하기 위해.
• 직접적으로 단어 임베딩과 주제 임베딩 간의 의미적 정렬을 최적화하여, 복잡한 사후 추론이나 생성 모델링이 필요 없도록 하기 위해.
• 공유된 벡터 공간 내에서 단어 임베딩와 의미적으로 정렬된 주제 임베딩을 학습하여 주제 일관성과 다양성을 향상시키기 위해.
• 반복적인 추론 절차를 피하여 대규모 코퍼스에 대한 확장성 있고 미니배치 확률적 최적화를 가능하게 하기 위해.
• 특히 짧은 텍스트에서 클러스터링과 같은 후속 작업을 위한 문서 표현 품질을 향상시키기 위해.

제안 방법

• 각 문서를 동일한 H차원의 임베딩 공간 내에서 단어 임베딩에 대한 이산 분포로 표현하고, 각 주제도 동일한 공간 내에서 학습 가능한 벡터로 표현한다.
• 임베딩 유사도를 기반으로 한 비용을 사용하여, 문서 내 단어 임베딩과 주제 임베딩 간의 의미적 거리를 측정하기 위해 확률적 이중성 최적 운반 방법을 사용한다.
• 실제 단어 분포와 주제 기반 혼합 분포 간의 기대 운반 비용을 최소화하여 주제 임베딩과 문서 주제 비율을 동시에 최적화한다.
• 재구성 기법을 활용한 확률적 경사 하강법을 통해 스케일러블한 훈련을 구현하여, 깁스 샘플링이나 변분 추론을 피한다.
• 주제 품질과 문서 표현 간의 균형을 맞추기 위해 운반 비용과 포아송 우도를 조합한 하이브리드 목적함수를 도입한다.
• 사전 훈련된 단어 임베딩을 입력으로 사용하여 종단 간 미세조정이 가능하며, 자원이 적거나 짧은 텍스트 환경에서 성능 향상이 가능하다.

실험 결과

연구 질문

• RQ1 공유된 임베딩 공간 내에서 단어 임베딩과 주제 임베딩 간의 의미적 정렬을 직접 최적화하는 주제 모델이, 기존 모델 대비 주제 일관성과 다양성 측면에서 뛰어난 성능을 내는가?
• RQ2 복잡한 사후 추론이나 생성 가정에 의존하지 않고도, 짧은 텍스트에서 경쟁적인 성능을 달성할 수 있는가?
• RQ3 단어 임베딩과 주제 임베딩 간의 최적 운반 비용을 최소화하면, 후속 클러스터링 작업을 위한 더 나은 문서 표현이 가능한가?
• RQ4 운반 비용과 우도 손실의 조합이 주제 품질과 표현 학습에 어떤 영향을 미치는가?
• RQ5 모델이 임베딩 공간 내에서 공간적으로 군집화된, 해석 가능하고 의미적으로 일관된 주제를 학습할 수 있는가?

주요 결과

• WeTe는 주제 일관성과 다양성 측면에서 최신 기술 수준의 성능을 달성하였으며, t-SNE 시각화에서 각 주제의 상위 6개 단어 클러스터가 강력한 의미 일관성을 보였다.
• 모델은 문서 표현 품질을 크게 향상시켜, 짧은 문서와 일반 문서 모두에서 경쟁적 기준 모델을 능가하는 클러스터링 성능을 보였다.
• 운반 비용과 우도 간의 무게 조정(ε를 통한)을 위한 하이퍼파rameter 튜닝을 통해 성능 향상이 가능했으며, 하이브리드 목적함수가 각 구성 요소보다 더 뛰어난 성능을 보였다.
• 주제 임베딩는 임베딩 공간 내에서 잘 분포되어 있으며, 각 주제가 의미적으로 관련된 단어들로 둘러싸인 개념 중심으로 작용한다.
• 특히 'desktop'과 같은 쿼리에 대해 NSTM보다 더 다양한 주제를 발견했으며, 이는 이중성 운반 메커니즘이 더 넓은 의미적 커버리지로 이어지기 때문이다.
• 모델은 확장성이 있으며, 반복적인 추론 절차 없이도 미니배치 확률적 최적화에 적합하여 대규모 코퍼스에서 효율적인 훈련이 가능하다.