[논문 리뷰] Topic Compositional Neural Language Model

Wenlin Wang, Zhe Gan외 6명|arXiv (Cornell University)|2017. 12. 28.

Topic Modeling참고 문헌 46인용 수 38

한 줄 요약

이 논문은 행렬 분해를 통해 신경 주제 모델과 혼합 전문가(MoE) 언어 모델을 통합하는 효율적이고 종단 간 훈련이 가능한 공동 프레임워크인 주제 조합 신경 언어 모델(TCNLM)을 제안한다. TCNLM은 주제 확률 가중 RNN 전문가를 활용하여 최신의 퍼플렉서티 감소를 달성하며, 표준 RNN 및 이전의 주제 유도 모델을 능가하면서도 일관되고 주제 조건화된 문장을 생성한다.

ABSTRACT

We propose a Topic Compositional Neural Language Model (TCNLM), a novel method designed to simultaneously capture both the global semantic meaning and the local word ordering structure in a document. The TCNLM learns the global semantic coherence of a document via a neural topic model, and the probability of each learned latent topic is further used to build a Mixture-of-Experts (MoE) language model, where each expert (corresponding to one topic) is a recurrent neural network (RNN) that accounts for learning the local structure of a word sequence. In order to train the MoE model efficiently, a matrix factorization method is applied, by extending each weight matrix of the RNN to be an ensemble of topic-dependent weight matrices. The degree to which each member of the ensemble is used is tied to the document-dependent probability of the corresponding topics. Experimental results on several corpora show that the proposed approach outperforms both a pure RNN-based model and other topic-guided language models. Further, our model yields sensible topics, and also has the capacity to generate meaningful sentences conditioned on given topics.

연구 동기 및 목표

• 장기적인 문서 수준의 의미를 포착하는 데에 한계가 있는 RNN 기반 언어 모델의 문제를 해결하기 위해 글로벌 주제 일관성을 통합한다.
• 주제를 외부 특성 또는 후행 재가중으로 다루는 기존 주제 유도 언어 모델의 비효율성과 낮은 일반화 능력 문제를 해결한다.
• 주제 모델링과 언어 모델링을 공동 최적화하여 성능 향상과 해석 가능성 향상을 위한 통합된 종단 간 훈련 가능한 아키텍처를 설계한다.
• 특정 주제 또는 주제 조합에 조건화된 의미 있는 문장 생성을 가능하게 하여 모델의 해석 가능성성을 향상시킨다.

제안 방법

• 모든 문서의 잠재 주제 분포를 학습하기 위해 변분 오토인코더를 사용하여 글로벌 의미 일관성을 포착한다.
• 각 주제는 혼합 전문가(MoE) 구조 내에서 전용 RNN 기반 전문가에 대응하며, 전문가 가중치는 문서별 주제 확률에 의해 결정된다.
• RNN 가중치 행렬에 행렬 분해를 적용하여 주제에 의존하는 구성요소로 분해함으로써 파라미터 수를 감소시키고 과적합을 방지한다.
• 변분 하한을 최대화하여 종단 간 훈련을 수행함으로써 주제 모델링 및 언어 모델링 목표를 공동 최적화한다.
• MoE 구조는 주제 관련성에 기반한 히든 상태의 동적 라우팅을 가능하게 하여 맥락 인식 기반의 단어 예측을 가능하게 한다.
• 관련 전문가의 가중치만을 사용하여 주제 조건화된 LSTM 생성기를 구성함으로써 제어된 문장 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 글로벌 주제 일관성을 통합함으로써 표준 RNN을 초월하여 퍼플렉서티를 향상시킬 수 있는가?
• RQ2 MoE 아키텍처 내에서 주제 확률 가중 전문가가 국소적 어순을 모델링하면서도 글로벌 의미 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 MoE 아키텍처 내에서 행렬 분해 기반의 파라미터 공유가 난잡한 MoE에 비해 과적합을 방지하고 훈련 효율성을 향상시키는가?
• RQ4 개별 또는 조합된 주제에 조건화된 경우 모델이 의미적으로 일관된 문장을 생성할 수 있는가? 이는 모델의 해석 가능성과 조합적 이해 능력을 입증하는가?

주요 결과

• TCNLM은 모든 데이터셋에서 가장 낮은 테스트 퍼플렉서티를 기록했다: APNEWS에서 82.67, IMDB에서 94.64, BNC에서 125.09로, 기본 LSTM 및 난잡한 MoE 모델을 모두 능가했다.
• APNEWS와 IMDB에서 TCNLM은 가장 높은 주제 일관성 점수를 기록하여 LDA 및 기타 기준 모델 대비 뛰어난 주제 품질을 입증했다.
• 개별 주제에 조건화된 경우, 'animal'과 'lottory'와 같이 의미적으로 다를 수 있는 주제 쌍에 대해서도 의미 있는 주제 관련 문장을 생성했다.
• 더 적은 파라미터와 낮은 계산 비용을 사용함에도 불구하고, TCNLM은 난잡한 MoE 구현보다 유의미한 성능 향상을 보였으며, 이는 행렬 분해 설계의 효과성을 입증한다.
• 더 큰 아키텍처는 약간의 주제 일관성 저하를 초래함을 시사하여, 순차적 모델링 능력과 주제 해석 가능성 사이의 상충 관계를 보여준다.
• 정성적 분석을 통해 TCNLM이 주제 의미를 효과적으로 조합하여 일관된 문장 생성에 성공했으며, 이는 모델의 해석 가능성과 조합적 추론 능력을 검증한다.