[논문 리뷰] Continuous Semantic Topic Embedding Model Using Variational Autoencoder

Namkyu Jung, Hyeong In Choi|arXiv (Cornell University)|2017. 11. 24.

Topic Modeling참고 문헌 22인용 수 3

한 줄 요약

이 논문은 유럽식 공간에서 의미 관계를 모델링하기 위해 마할라노비스 거리 함수를 사용하는 변분 오토에인코드어 기반의 주제 모델인 연속적 의미 주제 임베딩 모델(CSTEM)을 제안한다. 글로벌 워드 웨이트 파라미터를 도입함으로써 CSTEM은 주제 일관성과 더불어 더 빠른 추론 속도를 가진 가시화 가능하고 의미적으로 유의미한 주제 및 단어 벡터 표현을 가능하게 한다.

ABSTRACT

This paper proposes the continuous semantic topic embedding model (CSTEM) which finds latent topic variables in documents using continuous semantic distance function between the topics and the words by means of the variational autoencoder(VAE). The semantic distance could be represented by any symmetric bell-shaped geometric distance function on the Euclidean space, for which the Mahalanobis distance is used in this paper. In order for the semantic distance to perform more properly, we newly introduce an additional model parameter for each word to take out the global factor from this distance indicating how likely it occurs regardless of its topic. It certainly improves the problem that the Gaussian distribution which is used in previous topic model with continuous word embedding could not explain the semantic relation correctly and helps to obtain the higher topic coherence. Through the experiments with the dataset of 20 Newsgroup, NIPS papers and CNN/Dailymail corpus, the performance of the recent state-of-the-art models is accomplished by our model as well as generating topic embedding vectors which makes possible to observe where the topic vectors are embedded with the word vectors in the real Euclidean space and how the topics are related each other semantically.

연구 동기 및 목표

• 기존의 LDA와 비교해 주제와 단어 간의 의미 관계를 더 정확히 포착하는 연속적 주제 모델을 개발하는 것.
• 유럽식 공간에서 의미 거리 함수를 도입함으로써 가우시안 기반 주제 모델의 의미 의미 포착 능력의 한계를 해결하는 것.
• 주제 할당과 독립적인 글로벌 워드 웨이트 파라미터를 통합함으로써 주제 일관성을 향상시키는 것.
• 공유된 벡터 공간에서 연속적이고 가시화 가능한 주제 및 단어 임베딩을 생성하여 의미 분석을 가능하게 하는 것.
• MCMC 기반 방법보다 빠른 학습 속도를 확보하면서도 최신 기술 수준의 주제 일관성과 퍼플렉서티 성능을 달성하는 것.

제안 방법

• CSTEM은 재구성 기법을 사용한 변분 오토에인코드어(VAE) 프레임워크를 활용해 주제 분포와 단어 임베딩을 동시에 추론한다.
• 단어 발생 확률은 주제 벡터와 단어 벡터 간의 역마할라노비스 거리의 지수 함수로 모델링되어 의미 유사도를 포착한다.
• 주제에 관계없이 단어 빈도를 반영하기 위해 글로벌 워드 웨이트 파라미터 $ c_i $ 를 도입한다.
• 몬테카를로 추정과 확률적 경사 하강법을 사용해 변분 하한(ELBO)을 최적화한다.
• 주제 및 단어 벡터는 공유된 300차원 유클리드 공간에 함께 임베딩되어 의미 관계의 기하학적 해석이 가능하다.
• 주제 및 단어 벡터를 2차원로 시각화하기 위해 주성분 분석(PCA)을 사용하여 의미 클러스터링을 유지한다.

실험 결과

연구 질문

• RQ1 연속적 의미 거리 함수가 이산적 또는 가우시안 기반 모델보다 주제-단어 관계를 더 잘 모델링할 수 있는가?
• RQ2 글로벌 워드 웨이트 파라미터를 도입함으로써 표준 주제 모델을 초월해 주제 일관성과 모델 적합도를 향상시킬 수 있는가?
• RQ3 학습된 주제 및 단어 임베딩은 주제와 단어 간의 의미 유사도를 시각적으로 해석할 수 있는가?
• RQ4 CSTEM의 성능은 주제 일관성과 퍼플렉서티 측면에서 최신 기술 수준의 모델들과 비교해 어떻게 되는가?
• RQ5 연속적 벡터 공간은 주제 간 보간을 통해 새로운 의미 있는 주제를 생성하는 데 기여할 수 있는가?

주요 결과

• CSTEM은 AVITM와 가우시안 LDA와 같은 최신 기술 수준의 모델과 유사하거나 略적으로 높은 주제 일관성을 달성했으며, 샘플링 기반 방법보다 훨씬 빠른 학습 속도를 확보했다.
• LDA와 ProdLDA보다 주제 일관성에서 뛰어난 성능을 보였고, 경쟁 수준의 퍼플렉서티 점수도 유지했다.
• PCA를 통한 시각화 결과, 의미적으로 유사한 단어들이 뭉쳐 있고, 관련 주제(예: 전쟁과 세계)는 임베딩 공간에서 기하학적으로 가까이 위치함을 확인했다.
• 글로벌 워드 웨이트 파라미터 $ c_i $ 는 주제와 무관한 단어 빈도를 모델링하는 데 필수적임을 발견했으며, 이는 모델 적합도 향상에 기여했다.
• 주제 벡터가 단어 벡터와 같은 공간에 성공적으로 임베딩되어 기하학적 근접도를 통해 주제 의미를 직관적으로 이해할 수 있었다.
• 지속적인 임베딩 공간 내에서 보간을 통해 무한한 수의 맞춤형 주제를 생성할 수 있었으며, 이는 모델의 생성 능력을 입증했다.