[논문 리뷰] Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders

Tiancheng Zhao, Ran Zhao외 1명|arXiv (Cornell University)|2017. 03. 31.

Topic Modeling참고 문헌 30인용 수 165

한 줄 요약

본 논문은 CVAE 기반 대화 모델을 도입하여 오픈 도메인 대화에서 담론 수준의 다양성을 포착하고, 지식 가이던트 변형(kgCVAE)과 학습 안정화를 위한 bag-of-words 손실을 제안한다.

ABSTRACT

While recent neural encoder-decoder models have shown great promise in modeling open-domain conversations, they often generate dull and generic responses. Unlike past work that has focused on diversifying the output of the decoder at word-level to alleviate this problem, we present a novel framework based on conditional variational autoencoders that captures the discourse-level diversity in the encoder. Our model uses latent variables to learn a distribution over potential conversational intents and generates diverse responses using only greedy decoders. We have further developed a novel variant that is integrated with linguistic prior knowledge for better performance. Finally, the training procedure is improved by introducing a bag-of-word loss. Our proposed models have been validated to generate significantly more diverse responses than baseline approaches and exhibit competence in discourse-level decision-making.

연구 동기 및 목표

• 오픈 도메인 대화의 일대다 특성에 대한 동기 부여와 담론 수준의 다양성 필요성 제시.
• 다양한 응답을 위한 잠재 담론 요인을 모델링하기 위해 CVAE 기반 프레임워크를 개발한다.
• 성능 및 해석 가능성을 향상시키기 위해 kgCVAE를 통해 언어적 지식을 통합한다.
• 잠재 변수 소실 문제를 완화하기 위해 bag-of-words 손실로 CVAE 학습을 개선한다.
• 담론 수준의 다양성이 적절한 응답 생성을 위해 어휘 수준의 다양성보다 우수하다는 것을 보여준다.

제안 방법

• 각 대화를 컨텍스트 c, 응답 x, 잠재 z로 표현하고 p(x|z,c)p(z|c)로 표현한다.
• 사전 네트워크 p(z|c)와 인식 네트워크 q(z|x,c)를 사용하여 변분 하한을 최적화한다.
• 발화를 BRNN-GRU로 인코딩하고 컨텍스트를 GRU로 구성하여 c를 형성한 뒤 z와 c에 조건화된 GRU로 x를 생성한다.
• 언어 특징 y를 생성 및 y'의 z,c로부터의 예측에 포함시켜 kgCVAE를 도입한다.
• z와 c로부터 x의 BOW를 예측하는 bag-of-word(BOW) 보조 손실로 잠재 변수의 소실 문제를 완화한다.

실험 결과

연구 질문

• RQ1 조건부 VAE가 오픈 도메인 대화에서 담론 수준의 다양성을 포착할 수 있는가?
• RQ2 잠재 담론 요인을 포함하는 것이 기준보다 다양성과 타당한 응답의 커버리지를 향상시키는가?
• RQ3 언어적 특징을 통한 지식 가이드(kgCVAE)가 성능과 해석 가능성을 향상시키는가?
• RQ4 bag-of-words 손실이 CVAE 학습을 안정화하고 잠재 변수의 활용을 향상시키는가?

주요 결과

모델	혼란도 (KL)	BLEU-1 정밀도	BLEU-1 재현율	BLEU-2 정밀도	BLEU-2 재현율	BLEU-3 정밀도	BLEU-3 재현율	BLEU-4 정밀도	BLEU-4 재현율	A-bow 정밀도	A-bow 재현율	E-bow 정밀도	E-bow 재현율	DA 정밀도	DA 재현율
Baseline	35.4 (n/a)	0.405	0.336	0.300	0.281	0.272	0.254	0.226	0.215	0.951	0.935	0.827	0.801	0.736	0.514
CVAE	20.2 (11.36)	0.372	0.381	0.295	0.322	0.265	0.292	0.223	0.248	0.954	0.943	0.815	0.812	0.704	0.604
kgCVAE	16.02 (13.08)	0.412	0.411	0.350	0.356	0.310	0.318	0.262	0.272	0.961	0.944	0.804	0.807	0.721	0.598

• CVAE와 kgCVAE는 강력한 baselines보다 더 다양한 응답을 생성하며 지표 전반에서 재현율이 더 높다.
• kgCVAE가 BLEU-1에서 BLEU-4 및 A-BOW 지표에서 가장 높은 정밀도와 재현율을 달성한다.
• 엔트로피 컨텍스트 전반에서 CVAE/kgCVAE가 baseline보다 재현율이 높고, kgCVAE가 더 높은 정밀도를 유지한다.
• bag-of-words 손실은 잠재 변수 소실을 효과적으로 완화하고 KL 어닐링에만 의존하지 않고 학습 안정성을 향상시킨다.
• t-SNE 시각화는 학습된 z-공간이 대화 행위 및 응답 길이와 상관된 방식으로 군집화됨을 시사한다.