[논문 리뷰] Implicit Deep Latent Variable Models for Text Generation

Le Fang, Chunyuan Li외 3명|arXiv (Cornell University)|2019. 08. 30.

Topic Modeling참고 문헌 38인용 수 5

한 줄 요약

이 논문은 텍스트 생성에서 표현 능력 향상과 사전 분포 붕괴 문제 완화를 위해 기존의 가우시안 변분 사후분포를 표본 기반 표현으로 대체한 암묵적 딥 잠재변수 모델(iVAE 및 iVAE-MI)을 제안한다. 상위 사후분포를 상호정보량 최대화를 통해 사전분포와 일치시키고, 쌍대-공액 Kullback-Leibler 발산을 사용함으로써 언어 모델링, 스타일 전이, 대화 응답 생성 등 다양한 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep latent variable models (LVM) such as variational auto-encoder (VAE) have recently played an important role in text generation. One key factor is the exploitation of smooth latent structures to guide the generation. However, the representation power of VAEs is limited due to two reasons: (1) the Gaussian assumption is often made on the variational posteriors; and meanwhile (2) a notorious "posterior collapse" issue occurs. In this paper, we advocate sample-based representations of variational distributions for natural language, leading to implicit latent features, which can provide flexible representation power compared with Gaussian-based posteriors. We further develop an LVM to directly match the aggregated posterior to the prior. It can be viewed as a natural extension of VAEs with a regularization of maximizing mutual information, mitigating the "posterior collapse" issue. We demonstrate the effectiveness and versatility of our models in various text generation scenarios, including language modeling, unaligned style transfer, and dialog response generation. The source code to reproduce our experimental results is available on GitHub.

연구 동기 및 목표

• 변분 오토인코더(VAE)가 텍스트 생성에서 변분 사후분포에 대한 제한적인 가우시안 가정으로 인해 발생하는 한계를 해결한다.
• 변분 사후분포의 최적화가 불완전할 경우 디코더가 잠재 코드를 무시하는 사전 분포 붕괴 문제를 완화한다.
• 매개수 가우시안 가족 대신 암묵적이고 표본 기반의 분포를 사용하여 유연한 잠재 표현 프레임워크를 개발한다.
• 잠재 특징들이 협력하도록 유도하고 문장 수준의 의미 있는 정보를 포착함으로써 생성 품질과 다양성을 향상시킨다.
• 잠재 코드와 데이터 간의 상호정보량을 최대화하는 새로운 학습 목표를 제안하여 표현 학습을 향상시킨다.

제안 방법

• 잠재 공간에서 표준 가우시안 변분 사후분포를 암묵적이고 표본 기반의 표현으로 대체하여 모델링의 유연성을 높인다.
• 전체 데이터에 대한 집합 사후분포를 사전분포와 직접적으로 일치시키는 iVAE-MI 모델을 제안하며, 이는 이중형 KL 발산을 사용한다.
• KL 발산의 쌍대-공액 형태를 사용하여 명시적 밀도 평가 없이도 학습이 가능하게 하며, 보조 이중 함수를 통한 최적화를 가능하게 한다.
• 컨텍스트 임베딩에서 사전 표본으로의 매핑을 학습하여 대화 생성에서 컨텍스트 인식 사전분포와 조건부 모델링을 통합한다.
• 잠재 코드가 정보량이 풍부하고 다양하도록 유도하는 유연한 목표 함수를 사용하여 상호정보량 최대화를 수행한다.
• 디코더, 인코더, 컨텍스트 인코더에 모두 GRU를 적용하여 대화 및 텍스트 생성 작업에서 순차적 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 가우시안 분포에 비해 표본 기반의 잠재 표현은 텍스트 생성에서 변분 사후분포의 표현력을 향상시키는가?
• RQ2 암묵적 잠재변수 모델은 자동회귀 VAE에서 사전 분포 붕괴 문제를 어느 정도 완화할 수 있는가?
• RQ3 잠재 사후분포를 상호정보량 최대화를 통해 사전분포와 일치시키는 것이 더 분리되고 의미 있는 잠재 표현을 도출하는가?
• RQ4 암묵적 LVM은 언어 모델링, 스타일 전이, 대화 응답 생성과 같은 다양한 텍스트 생성 작업에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 학습 안정성과 생성 다양성을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• iVAE-MI 모델은 모든 평가 작업에서 기준 VAE 및 CVAE, SeqGAN과 같은 강력한 기준 모델을 뛰어넘는 일관된 성능 향상을 보였다.
• 대화 응답 생성 작업에서 iVAE-MI는 BOW 임베딩 점수와 Distinct-1/2 지표를 크게 향상시켜 더 우수한 의미적 관련성과 다양성을 나타냈다.
• Switchboard 및 DailyDialog 데이터셋에서 iVAE-MI는 더 높은 BLEU-4 점수와 더 나은 리콜을 기록하여 기준 응답과의 n-gram 겹침이 향상됨을 보였다.
• 스타일 전이 작업에서 iVAE-MI는 ARAE보다 더 우수한 소스 의미 유지 능력을 보였으며, 내용을 더 잘 보존했다.
• 쌍대-공액 KL 공식은 명시적 밀도 평가 없이도 효과적인 학습이 가능하게 하여 암묵적 사후분포를 실용적으로 학습할 수 있도록 했다.
• 실험 결과는 암묵적 표현이 더 다양하고 의미 있는 잠재 코드를 생성함으로써 사전 분포 붕괴를 감소시킨다는 것을 입증했다.