[논문 리뷰] SenGen: Sentence Generating Neural Variational Topic Model

Ramesh Nallapati, Igor Melnyk외 2명|arXiv (Cornell University)|2017. 08. 01.

Topic Modeling참고 문헌 13인용 수 8

한 줄 요약

SenGen은 문장 수준의 주제를 할당하는 신경망 변동 주제 모델을 제안하며, 문장 수준의 주제에 조건화된 RNN 디코더를 사용하여 일관되고 해석 가능한 문장을 생성한다. 이 모델은 문서 수준의 주제 혼합과 문장 수준의 주제 할당에 대해 별도의 변동 인코더를 사용하는 VAE 프레임워크를 채택하여 주제적 논리적 구조를 더 잘 모델링하고 주제의 해석 가능성을 향상시킨다.

ABSTRACT

We present a new topic model that generates documents by sampling a topic for one whole sentence at a time, and generating the words in the sentence using an RNN decoder that is conditioned on the topic of the sentence. We argue that this novel formalism will help us not only visualize and model the topical discourse structure in a document better, but also potentially lead to more interpretable topics since we can now illustrate topics by sampling representative sentences instead of bag of words or phrases. We present a variational auto-encoder approach for learning in which we use a factorized variational encoder that independently models the posterior over topical mixture vectors of documents using a feed-forward network, and the posterior over topic assignments to sentences using an RNN. Our preliminary experiments on two different datasets indicate early promise, but also expose many challenges that remain to be addressed.

연구 동기 및 목표

• 기존의 단어 기반 주제 표현에 의존하는 것 대신, 각 주제당 대표 문장을 생성함으로써 주제의 해석 가능성을 향상시키기 위해.
• 문장 수준에서 주제를 할당하여 주제의 이탈이나 전환과 같은 현상을 캐치함으로써 주제적 논리적 구조를 모델링하기 위해.
• 기존의 VAE 기반 주제 모델이 문서 수준의 사후 확률에만 초점을 맞추는 데 반해, 문장 수준의 주제 할당에 대한 사후 확률을 명시적으로 모델링함으로써 변동 인코딩을 확장하기 위해.
• 주제에 조건화된 RNN을 사용하여 문장 내 단어 간 의존성을 모델링함으로써 더 일관되고 의미적으로 유의미한 문서 생성을 가능하게 하기 위해.
• 기존 VAE 기반 주제 모델이 문서 수준의 사후 확률에만 초점을 맞추고 지역적 주제 할당 모델링을 忽略하는 한계를 해결하기 위해.

제안 방법

• 모델은 먼저 표준 정규분포에서 문서 수준의 주제 혼합 벡터 θd를 샘플링한 후, θd에 대한 소프트맥스를 통해 각 문장 s에 주제 zₛ를 할당한다.
• 각 문장에 대해, 주제별로 학습된 주제 임베딩 벡터 EmbZ에 조건화된 GRU-RNN 디코더가 문장을 생성하며, 문장 내 의존성을 캐치한다.
• 요소 분해된 변동 추론 프레임워크를 사용한다: 전방향 신경망은 문서 수준의 주제 혼합에 대한 사후 확률을 인코딩하고, RNN 인코더는 문장 수준의 주제 할당에 대한 사후 확률을 모델링한다.
• 모델은 재구성 기반 경사 하강법을 사용하여 엔드 투 엔드 학습을 가능하게 하며, 확률적 주제 할당을 통해 역전파가 가능하게 하여 문서 수준과 문장 수준의 사후 확률을 동시에 최적화한다.
• 디코더는 빔 서치 또는 RNN의 소프트맥스 출력에서 탐색을 통해 문장 시퀀스를 생성하며, 빈도가 높은 단어를 처리하고 일관성을 향상시키기 위해 어텐션 메커니즘을 활용한다.
• 이 프레임워크는 문장 간 주제 전이를 시각화할 수 있게 하여 문서 내 주제적 논리적 구조 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 단어 기반 주제 모델과 비교해, 단어 수준이 아닌 문장 수준에서 주제를 할당하는 것이 더 해석 가능하고 일관된 주제를 만들어낼 수 있는가?
• RQ2 RNN 인코더를 통해 문장 수준의 주제 사후 확률을 명시적으로 모델링하면 생성된 문서의 품질과 일관성이 향상되는가?
• RQ3 주제 임베딩에 조건화된 RNN 기반 디코더는 문법적으로 올바르고 의미적으로 유의미한 문장을 생성할 수 있는가? 이 문장들은 주제 내용을 반영하는가?
• RQ4 기존의 VAE 기반 주제 모델과 비교해, 퍼플렉서티와 주제의 해석 가능성 측면에서 모델의 성능은 어떠한가?
• RQ5 고차원 파rameter를 가진 이러한 모델을 학습할 때 발생하는 문제점은 무엇인가? 특히 과적합과 비정보성 또는 반복적인 시퀀스 생성 문제는 어떤가?

주요 결과

• 비틀림 서치를 통해 생성된 문장은 문법적으로 잘 구성되어 있지만, 몇 번의 타임스텝 이후로 반복적이고 비정보적인 시퀀스로 변한다.
• 확률적 샘플링을 통한 RNN 디코더 출력은 덜 일관되고 문법적으로 잘못된 시퀀스를 생성하지만, 더 많은 주제어단어를 포함하고 있어 유창성과 주제 관련성 사이의 상충 관계를 보여준다.
• 초기 정량적 결과는 기준 모델보다 높은 퍼플렉서티를 보이며, 이는 데이터 전처리의 차이와 높은 파rameter 수로 인한 과적합 때문일 가능성이 높다.
• 모델이 각 주제당 대표 문장을 생성할 수 있는 능력은 기존의 단어 기반 주제 표현 방식보다 주제의 해석 가능성을 향상시킨다.
• 이 프레임워크는 문장 간 주제 전이를 시각화할 수 있게 하여 주제의 이탈이나 전환과 같은 주제적 논리적 현상을 모델링할 수 있는 길을 열어준다.
• 저자들은 정지어와 빈도가 높은 용어가 주요 문제임을 확인하였으며, 향후 연구에서 이를 별도로 처리할 것, 예를 들어 사전 훈련된 단어 기반 모델로 초기화할 것임을 제안한다.