[논문 리뷰] Topic-Guided Variational Autoencoders for Text Generation

Wenlin Wang, Zhe Gan외 6명|arXiv (Cornell University)|2019. 03. 17.

Topic Modeling참고 문헌 59인용 수 57

한 줄 요약

주제-가이드 변분 자동인코더(TGVAE)를 도입하여 주제 조건 가우시안 혼합 prior와 Householder 흐름으로 무조건적 및 조건적 텍스트 생성을 개선합니다. 데이터셋 전반에서 우수한 perplexity/BLEU 및 주제 응집력을 시연합니다.

ABSTRACT

We propose a topic-guided variational autoencoder (TGVAE) model for text generation. Distinct from existing variational autoencoder (VAE) based approaches, which assume a simple Gaussian prior for the latent code, our model specifies the prior as a Gaussian mixture model (GMM) parametrized by a neural topic module. Each mixture component corresponds to a latent topic, which provides guidance to generate sentences under the topic. The neural topic module and the VAE-based neural sequence module in our model are learned jointly. In particular, a sequence of invertible Householder transformations is applied to endow the approximate posterior of the latent code with high flexibility during model inference. Experimental results show that our TGVAE outperforms alternative approaches on both unconditional and conditional text generation, which can generate semantically-meaningful sentences with various topics.

연구 동기 및 목표

• 주제 인식을 통해 텍스트 생성을 단순한 가우시안 priors를 넘어 이끄는 잠재 표현을 동기화합니다.
• 뉴럴 토픽 모델을 통합하여 잠재 코드에 대한 Gaussian mixture prior를 매개화합니다.
• Householder 흐름을 통해 후방 추정 q(z|y)의 유연성을 높이고 posterior collapse를 완화합니다.
• 무조건적 생성과 추상 요약과 같은 조건부 작업 모두에서 개선을 입증합니다.

제안 방법

• 잠재 z에 대해 각 구성요소가 뉴럴 토픽 모델(NTM)을 통해 학습된 주제에 상응하도록 가우시안 혼합 priors를 명시합니다.
• z에 조건화된 문장을 디코딩하는 신경 시퀀스 모델(NSM)을 GRU 기반 디코더로 사용합니다.
• 가역적이고 체적-보존 변환을 조합해 근사 posterior q(z|y)를 구성하기 위해 Householder 흐름을 활용합니다.
• GMM 간의 KL 발산에 대한 상한을 가능하게 하는 주제-모델 용어와 시퀀스-모델 용어를 결합한 tractable ELBO를 도출합니다.
• Decoder를 원천 텍스트 x에 조건화하고 토픽 가이던스를 도입하여 텍스트 요약으로 모델을 확장합니다.
• 학습된 토픽 간에 서로 다른 토픽을 촉진하기 위한 토픽 다양성 규제기를 포함합니다.

실험 결과

연구 질문

• RQ1 주제 가이드 Gaussian mixture prior가 잠재 공간 구조와 문장 품질을 개선할 수 있는가?
• RQ2 뉴럴 토픽 모델을 VAE와 통합하여 posterior collapse를 줄이고 생성의 다양성 및 응집력을 향상시킬 수 있는가?
• RQ3 Householder 흐름이 TGVAE에서 posterior 유연성과 생성 성능에 어떻게 영향을 미치는가?
• RQ4 TGVAE가 무조건적 텍스트 생성과 추상적 요약과 같은 조건부 작업 모두를 개선할 수 있는가?

주요 결과

• TGVAE는 APNEWS, IMDB, BNC 데이터셋에서 여러 baselines보다 더 낮은 perplexity 상한을 달성합니다.
• 토픽 수를 증가시키면 일반적으로 생성 텍스트의 BLEU 기반 및 자체 BLEU 다양성 지표가 개선됩니다.
• Householder 흐름(HF)은 후방 추론을 향상시키고 적절한 흐름 깊이 K에서 표준 VAE 기준선보다 생성 품질을 향상시킵니다.
• 토픽-가이드 생성은 GMM priors를 사용해 APNEWS, IMDB, BNC 전반에서 주제 일관도(NPMI) 점수를 더 잘 얻습니다.
• 요약의 경우 Seq2Seq 프레임워크에 토픽 가이던스를 주입하면 의미적 토픽 구조를 활용해 생성이 개선됩니다.