[논문 리뷰] Recurrent Hierarchical Topic-Guided RNN for Language Generation

Dandan Guo, Bo Chen외 2명|arXiv (Cornell University)|2019. 12. 21.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 반복적인 감마 신뢰망(rGBN)을 RNN과 통합하여 깊이 있는 해석 가능한 주제 계층과 문장 수준의 의미를 함께 학습하는 순환 계층 주제 유도 RNN 언어 모델인 rGBN-RNN을 제안한다. 이 모델은 문장과 문서 간의 장거리 종속성을 포착하여, 문법적으로 올바르고 의미적으로 일관되며 다양한 텍스트를 생성하는 데 있어 기존의 RNN 기반 모델을 능가한다. 동시에 텍스트 내 시간적 및 구조적 관계를 반영하는 계층적 주제를 학습한다.

ABSTRACT

To simultaneously capture syntax and global semantics from a text corpus, we propose a new larger-context recurrent neural network (RNN) based language model, which extracts recurrent hierarchical semantic structure via a dynamic deep topic model to guide natural language generation. Moving beyond a conventional RNN-based language model that ignores long-range word dependencies and sentence order, the proposed model captures not only intra-sentence word dependencies, but also temporal transitions between sentences and inter-sentence topic dependencies. For inference, we develop a hybrid of stochastic-gradient Markov chain Monte Carlo and recurrent autoencoding variational Bayes. Experimental results on a variety of real-world text corpora demonstrate that the proposed model not only outperforms larger-context RNN-based language models, but also learns interpretable recurrent multilayer topics and generates diverse sentences and paragraphs that are syntactically correct and semantically coherent.

연구 동기 및 목표

• RNN 기반 언어 모델이 문서 간 장거리 종속성과 전반적인 의미적 구조를 포착하는 데 한계가 있음을 해결하기 위해.
• 문장 순서와 텍스트 내 계층적 구조를 忽시하는 얕은 주제 모델의 단점을 극복하기 위해.
• 더 나은 텍스트 생성을 위해 깊이 있는 계층적 주제와 문장 수준의 언어 모델링을 함께 학습하는 통합 프레임워크를 개발하기 위해.
• 주제 계층의 다양한 레이어에서 온 다중 수준 주제에 조건을 줌으로써 제어 가능한 텍스트 생성을 가능하게 하기 위해.
• 통합 모델의 엔드 투 엔드 훈련을 위한 확장 가능한 추론 방법을 설계하기 위해.

제안 방법

• 모델은 반복적인 감마 신뢰망(rGBN)을 사용하여 시간이 지남에 따라 변화하는 깊이 있는 계층적 주제 구조를 학습하고 문장 간 종속성을 포착한다.
• 스택드 RNN을 언어 모델 구성 요소로 사용하여 계층적 주제 표현에 조건을 부여한 단어 시퀀스를 생성한다.
• 스토캐스틱 기울기 마르코프 체인 몬테 카를로(SG-MCMC)와 반복적 오토인코더 변분 베이즈를 조합한 하이브리드 추론 전략을 사용하여 확장 가능하고 엔드 투 엔드 훈련이 가능하게 한다.
• rGBN는 여러 레이어를 통해 문서 수준의 단어 동시 발생 패턴을 모델링하며, 높은 레이어일수록 주제가 점점 일반화되고 낮은 레이어일수록 더 구체화된다.
• 생성 과정에서 다양한 레이어의 잠재 주제 벡터에 조건을 줌으로써 주제 유도 RNN이 제어 가능하고 의미적으로 일관된 문장 및 단락 생성을 가능하게 한다.
• 입력 단락을 동적 계층 잠재 표현으로 인코딩한 후, 이를 바탕으로 맥락적으로 관련성 있고 다양한 텍스트 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 깊이 있고 반복적인 주제 모델은 문서 수준의 텍스트에서 장거리 종속성과 계층적 의미를 효과적으로 포착할 수 있는가?
• RQ2 주제 유도 RNN 언어 모델은 기존의 표준 RNN보다 더 다양하고 의미적으로 일관된 텍스트를 생성할 수 있는가?
• RQ3 모델은 시간적 및 구조적 관계를 반영하는 해석 가능한 다중 수준 주제 계층을 학습할 수 있는가?
• RQ4 계층적 주제의 통합은 실제 텍스트 코퍼스에서 RNN 기반 언어 모델의 성능을 향상시키는가?
• RQ5 입력 단락에 기반한 계층적 잠재 표현을 조건으로 삼아 의미적으로 일관된 단락을 생성할 수 있는가?

주요 결과

• rGBN-RNN 모델은 다양한 실제 텍스트 코퍼스에서 더 큰 컨텍스트를 가진 RNN 기반 언어 모델을 능가하며, 향상된 생성 품질과 일관성을 보였다.
• 모델은 이해할 수 있는 다층 주제 계층을 성공적으로 학습하였으며, 하위 레이어의 주제는 구체적이고 상위 레이어로 갈수록 점점 일반화되었다.
• 단일 또는 병합된 주제에 조건을 부여한 생성 문장은 핵심 단어가 정확히 일치하지 않더라도 주제와 의미적으로 관련되어 있었으며, 효과적인 주제 유도 생성을 나타냈다.
• 주제 계층 시각화를 통해 같은 레이어 내 주제 간 시간적 관계와 레이어 간 계층적 관계를 포착한 것으로 확인되었다.
• 입력 단락에 기반한 조건을 부여한 단락 생성은 의미적 일관성을 유지하며 개별 문장 이상의 맥락 정보를 통합하였다.
• 하이브리드 추론 방법은 효율적이고 확장 가능한 훈련을 가능하게 하였으며, 언어 모델링과 주제 모델링 목표를 함께 최적화할 수 있도록 하였다.