[논문 리뷰] Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec

Christopher E. Moody|arXiv (Cornell University)|2016. 05. 06.

Topic Modeling참고 문헌 14인용 수 147

한 줄 요약

lda2vec는 SGNS를 디리클레 제약 문서 가중치와 공유 토픽 벡터를 통합하여 밀집 단어 벡터와 희소하고 해석 가능한 문서-토픽 혼합을 함께 학습한다.

ABSTRACT

Distributed dense word vectors have been shown to be effective at capturing token-level semantic and syntactic regularities in language, while topic models can form interpretable representations over documents. In this work, we describe lda2vec, a model that learns dense word vectors jointly with Dirichlet-distributed latent document-level mixtures of topic vectors. In contrast to continuous dense document representations, this formulation produces sparse, interpretable document mixtures through a non-negative simplex constraint. Our method is simple to incorporate into existing automatic differentiation frameworks and allows for unsupervised document representations geared for use by scientists while simultaneously learning word vectors and the linear relationships between them.

연구 동기 및 목표

• 과학자들의 해석 가능성과 후속 활용을 위해 밀집 단어 표현을 희소하고 토픽 기반의 문서 표현과 통합하려는 동기를 제시한다.
• 자동 미분 프레임워크 내에서 단어 벡터, 토픽 벡터 및 문서별 토픽 혼합을 함께 학습하는 모델을 개발한다.
• 단어 벡터의 의미적 규칙성을 보존하면서 사람에게 해석 가능한 희소한 문서-토픽 비율을 얻는다.
• 표준 텍스트 코퍼스와 대형 도메인 특화 코퍼스에서 이 방법을 시연하여 일관된 주제와 의미 있는 단어 유추를 보여준다.

제안 방법

• Skipgram Negative Sampling (SGNS) 목표를 문서 전체 특징 벡터와 문서 가중 토픽 혼합을 포함하도록 확장한다.
• 각 컨텍스트를 단어 벡터와 문서 벡터의 합으로 표현한다( c_j = w_j + d_j ) 로컬 신호와 문서 수준 신호를 모두 포착하기 위함.
• 문서 벡터 d_j를 소프트맥스 변환 p_jk를 통해 비음수의 단순형 분포인 토픽 벡터 t_k의 혼합으로 제한하여 해석 가능성을 강제한다.
• 문서-토픽 멤버십의 희소성을 촉진하기 위해 매개변수 alpha를 갖는 Dirichlet 가능도 항 L^d를 도입한다 (alpha ~ n^{-1}).
• 미니배치 단위로 Adam을 사용하여 엔드투엔드로 학습하고, L^d를 미니배치 크기에 맞춰 스케일링하며 토픽 응집도 (C_v) 및 토큰 유사도 (3COSMUL)를 평가한다.
• 선택적으로 사전학습 임베딩으로 단어 벡터를 초기화하고 SGNS에서 pivot/target 역할 간에 단어 표현을 공유한다.

실험 결과

연구 질문

• RQ1 밀집 단어 임베딩과 희소한 문서-토픽 혼합을 단일 미분 가능 모델에서 함께 학습할 수 있는가?
• RQ2 문서-토픽 가중치에 Dirichlet 기반의 희소성을 강제하면 LDA에 비견될 만큼 해석 가능한 토픽이 생성되는가?
• RQ3 학습된 토픽이 인간이 해석 가능한 주제와 일치하고 전문 코퍼스 내에서 일관된 단어 연관성을 보이는가?
• RQ4 도메인 특화 어휘에서 토큰 간 의미 있는 선형 관계(유추)를 포착할 수 있는가?
• RQ5 이 접근법이 대규모 코퍼스에 확장 가능하고 표준 딥러닝 도구 체인에 적합한가?

주요 결과

• lda2vec는 Twenty Newsgroups 코퍼스에서 주제 응집도가 인간 평가와 상관되는 일관된 토픽을 도출한다.
• Hacker News 댓글에서 lda2vec는 도메인 관련 토픽을 발견하고 단어 유사도 및 단어 유추와 유사한 선형 관계를 학습한다.
• 모델은 0이상의 가중치의 합이 1이 되도록 한 문서당 해석 가능한 토픽 혼합을 지원하여 문서-토픽 구성을 확인할 수 있게 한다.
• 특정 설정에서 토픽 응집도가 향상되며, 예를 들어 beta = 0.75로 20 토픽일 때 평균 응집도 0.567을 달성한다(다른 구성과 비교).
• 이 접근법은 자동 미분 프레임워크에서 구현하기 쉽고 속도를 위해 GPU를 활용할 수 있다.
• Dirichlet 정규화를 통한 희소한 문서-토픽 멤버십은 더 일관된 토픽을 산출하고 비희소 설정에 비해 일관되지 않은 토픽 베이스를 방지한다.