[논문 리뷰] Nonparametric Spherical Topic Modeling with Word Embeddings

Kayhan Batmanghelich, Ardavan Saeedi외 2명|arXiv (Cornell University)|2016. 04. 01.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 9

한 줄 요약

이 논문은 단어 임베딩을 단위 구면 위에 모델링하기 위해 보너스-밀리스-파이어(вМФ) 분포를 사용하는 비모수적 토픽 모델인 구면 HDP(sHDP)를 제안한다. 이는 코사인 유사도를 통해 의미적 일관성을 확보한다. 계층적 디리클레 과정과 확률적 변분 추론을 결합함으로써 sHDP는 탄력적으로 토픽 수를 추론하고, 기존의 HDP 및 가우시안 LDA보다 20뉴스그룹 및 NIPS 데이터셋에서 각각 65.5%와 97.5% 향상된 최고 수준의 토픽 일관성 성능을 달성한다.

ABSTRACT

Traditional topic models do not account for semantic regularities in language. Recent distributional representations of words exhibit semantic consistency over directional metrics such as cosine similarity. However, neither categorical nor Gaussian observational distributions used in existing topic models are appropriate to leverage such correlations. In this paper, we propose to use the von Mises-Fisher distribution to model the density of words over a unit sphere. Such a representation is well-suited for directional data. We use a Hierarchical Dirichlet Process for our base topic model and propose an efficient inference algorithm based on Stochastic Variational Inference. This model enables us to naturally exploit the semantic structures of word embeddings while flexibly discovering the number of topics. Experiments demonstrate that our method outperforms competitive approaches in terms of topic coherence on two different text corpora while offering efficient inference.

연구 동기 및 목표

• 기존 토픽 모델이 언어 내 의미적 규칙성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 특히, 코사인 유사도를 통한 의미적 일관성을 포함한 분포 기반 단어 표현을 확률적 토픽 모델링에 통합하기 위해.
• 자동으로 토픽 수를 추론할 수 있는 비모수적 토픽 모델을 개발하기 위해.
• 카테고리 또는 가우시안 우도를 방향성 분포로 대체하여 단어 임베딩에 적합한 방향성 분포를 활용함으로써 토픽 일관성을 향상시키기 위해.
• 대규모 텍스트 코퍼스에서 효율적인 추론을 가능하게 하기 위해 확률적 변분 추론을 활용하기 위해.

제안 방법

• 모델은 단어 벡터를 단위 구면 상의 점으로 간주하고 토픽을 방향성 평균으로 간주하기 때문에, 우도 함수로 보너스-밀리스-파이어(vMF) 분포를 사용한다.
• 각 토픽은 평균 방향 μₖ와 농도 매개수 κₖ로 표현되며, vMF 밀도는 정규화 상수를 제외한 exp(κₖ μₖᵀ xₙ)에 비례한다.
• 기본 토픽 모델은 무한한 수의 토픽에 대해 비모수적 추론을 가능하게 하는 계층적 디리클레 과정(HDP)이다.
• 스케일러블하고 효율적인 사후 분포 근사 추론을 위해 확률적 변분 추론(SVI)이 사용된다.
• 단어 임베딩은 단위 길이로 정규화되어 코사인 유사도가 vMF 프레임워크 내에서 자연스러운 의미적 측도로 기능할 수 있다.
• 생성 과정은 DP에서 도큐먼트별 토픽 비율을 샘플링한 후, 이에 기반한 다항 분포를 통해 각 단어가 토픽에 할당된다.

실험 결과

연구 질문

• RQ1 보너스-밀리스-파이어 분포가 방향성 데이터로 간주되는 단어 임베딩을 효과적으로 모델링하여 토픽 일관성을 향상시킬 수 있는가?
• RQ2 카테고리 또는 가우시안 우도를 방향성 우도로 대체함으로써 토픽 모델링에서 의미적 일관성이 향상되는가?
• RQ3 HDP와 같은 비모수적 베이지안 모델이 vMF를 활용해 연속적인 단어 임베딩과 효과적으로 통합될 수 있는가?
• RQ4 제안된 방법은 효율적인 추론을 유지하면서도 기존 토픽 모델보다 토픽 일관성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 vMF 우도에서 코사인 유사도를 사용하는 것이, 가우시안 LDA의 유클리드 거리와 비교해 토픽 모델링에 있어 어떤가?

주요 결과

• NIPS 데이터셋에서 sHDP는 0.442의 토픽 일관성 점수를 기록했으며, 가우시안 LDA(k=100)보다 0.174점 높고, HDP보다 0.172점 높다.
• 20뉴스그룹 데이터셋에서 sHDP는 일관성 점수 0.162를 기록했으며, 가우시안 LDA(k=100) 대비 97.5% 향상되고 HDP 대비 65.5% 향상되었다.
• sHDP는 NIPS 데이터셋에서 92개의 토픽, 20뉴스그룹에서 16개의 토픽을 자동으로 발견하여 수동적인 k 설정 없이도 자동 토픽 발견 능력을 입증했다.
• 표본 1의 상위 단어 분석을 통해 모델이 정량적으로 일관성 있고 의미적으로 타당한 토픽을 생성함을 확인했다.
• 확률적 변분 추론은 더 빠른 수렴을 가능하게 하였으며, sHDP는 약 다섯 번의 반복 내에 수렴에 도달하는 데에 그쳤고, 가우시안 LDA는 상당히 더 오랜 시간이 소요되었다.
• 정규화된 로그우도 플롯을 통해 sHDP가 가우시안 LDA보다 더 빠르게 수렴하는 것으로 나타나, 우수한 추론 효율성을 보였다.