[논문 리뷰] Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves

Fei Tian, Bin Gao외 2명|arXiv (Cornell University)|2016. 04. 07.

Topic Modeling참고 문헌 34인용 수 14

한 줄 요약

이 논문은 문장 수준의 순환 주제 모델(SLRTM)을 제안한다. 이는 LSTM 또는 GRU와 같은 순환 신경망(RNN)을 활용하여 문장 내 단어의 순차적 의존성과 주제의 일관성을 동시에 모델링하는 새로운 주제 모델이다. 단어 생성을 이전 단어들의 전체 역사와 문장 수준의 주제 표현에 조건화함으로써, SLRTM은 문서 모델링에서 강력한 기준 모델들을 능가하며, 주제에서 문장으로의 생성을 가능하게 하여 개인화된 짧은 텍스트 대화와 같은 응용 분야를 가능하게 한다.

ABSTRACT

We propose Sentence Level Recurrent Topic Model (SLRTM), a new topic model that assumes the generation of each word within a sentence to depend on both the topic of the sentence and the whole history of its preceding words in the sentence. Different from conventional topic models that largely ignore the sequential order of words or their topic coherence, SLRTM gives full characterization to them by using a Recurrent Neural Networks (RNN) based framework. Experimental results have shown that SLRTM outperforms several strong baselines on various tasks. Furthermore, SLRTM can automatically generate sentences given a topic (i.e., topics to sentences), which is a key technology for real world applications such as personalized short text conversation.

연구 동기 및 목표

• 문장 내 단어 순서와 주제 일관성을 忽시하는 전통적 주제 모델의 한계를 해결하기 위해.
• 고정 윈도우 또는 마르코프 기반 접근 방식보다 문장 내 순차적 의존성을 더 효과적으로 모델링하기 위해.
• 개인화된 짧은 텍스트 대화와 같은 응용 분야를 위해 주제에서 문장으로의 생성(topic2sentence)을 가능하게 하기 위해.
• 장기적인 순차적 의존성과 주제 인식 능력을 통합함으로써 문서 분류 및 생성 모델링 성능을 향상시키기 위해.

제안 방법

• SLRTM는 문장 내 단어 생성을 이전 단어들의 전체 역사와 문장의 주제 표현에 의존하도록 모델링한다.
• RNN, 예를 들어 LSTM 또는 GRU를 사용하여 단어의 순차적 맥락을 인코딩하고 장기적 의존성을 포착한다.
• 문장 주제는 모든 문장 내 단어에 공유되는 분산 표현을 가진 의사 단어로 간주되어 주제 일관성을 보장한다.
• 단어 생성은 RNN의 은닉 상태와 문장 주제 임베딩을 조합한 조건부 확률을 사용하여 모델링된다.
• EOS 토큰으로 문장 경계를 표시한 문장 코퍼스를 대상으로 최대 우도 추정을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 주제에서 문장으로의 생성은 학습된 모델 분포에서 무작위 샘플링 또는 빔 서치를 통해 수행된다.

실험 결과

연구 질문

• RQ1 주제 일관성을 유지하면서도 문장 내 순차적 의존성을 효과적으로 포착할 수 있는 주제 모델은 가능한가?
• RQ2 RNN 기반 순차 모델링을 통합함으로써 기존의 bag-of-words 주제 모델에 비해 문서 생성 및 분류 성능가 개선되는가?
• RQ3 SLRTM는 주어진 주제에서 얼마나 잘 일관되고 주제에 민감한 문장을 생성할 수 있는가?
• RQ4 SLRTM는 개인화된 대화 시스템을 위한 자연스러운 문장을 효과적으로 생성하는 데 사용될 수 있는가?

주요 결과

• SLRTM는 테스트 세트의 퍼플렉서티에서 강력한 기준 모델들을 능가하여 뛰어난 문서 모델링 능력을 입증한다.
• 문서 분류 작업에서 성능 향상을 달성하여 더 나은 학습된 표현을 확보한 것으로 나타났다.
• 정성적 결과로, 무작위 샘플링과 빔 서치를 통해 생성된 문장들이 해당 주제와 의미적으로 일관됨을 확인할 수 있었다.
• 무작위 샘플링은 더 다양한 문장을 생성하지만 때로 문법적으로 잘못된 문장도 생성되며, 빔 서치는 문법적으로 안전하지만 다양성이 떨어지는 출력을 생성한다.
• 모델은 추론된 주제와 일치하는 주제 관련 키워드(예: 'elections', 'parliament', 'film', 'bishop')를 성공적으로 생성했다.
• SLRTM는 주제에서 문장으로의 생성을 가능하게 하여, 개인화된 짧은 텍스트 대화 시스템과 같은 실생활 응용 분야 잠재력을 입증했다.