[논문 리뷰] Variational Transformers for Diverse Response Generation

Zhaojiang Lin, Genta Indra Winata외 3명|arXiv (Cornell University)|2020. 03. 28.

Speech Recognition and Synthesis참고 문헌 27인용 수 46

한 줄 요약

이 논문은 Variational Transformer(VT) 모델—Global Variational Transformer(GVT) 및 Sequential Variational Transformer(SVT)—을 도입하여 Transformer의 효율성과 CVAE 스타일 잠재 변수의 결합으로 다양하고 일관된 대화 응답을 생성하며, 자동 지표 및 인간 평가에서 기본 baselines 대비 향상을 보인다.

ABSTRACT

Despite the great promise of Transformers in many sequence modeling tasks (e.g., machine translation), their deterministic nature hinders them from generalizing to high entropy tasks such as dialogue response generation. Previous work proposes to capture the variability of dialogue responses with a recurrent neural network (RNN)-based conditional variational autoencoder (CVAE). However, the autoregressive computation of the RNN limits the training efficiency. Therefore, we propose the Variational Transformer (VT), a variational self-attentive feed-forward sequence model. The VT combines the parallelizability and global receptive field of the Transformer with the variational nature of the CVAE by incorporating stochastic latent variables into Transformers. We explore two types of the VT: 1) modeling the discourse-level diversity with a global latent variable; and 2) augmenting the Transformer decoder with a sequence of fine-grained latent variables. Then, the proposed models are evaluated on three conversational datasets with both automatic metric and human evaluation. The experimental results show that our models improve standard Transformers and other baselines in terms of diversity, semantic relevance, and human judgment.

연구 동기 및 목표

• Deterministic Transformer 기반 대화 생성의 따분함과 일반화를 해결한다.
• Transformer에 확률적 잠재 변수를 도입하여 맥락에 부합하는 다양하고 응용 가능한 응답을 포착한다.
• 대화 모델링에서 글로벌(담화 수준)과 순차적 잠재 변수 설계의 차이를 비교한다.
• 다수의 대화 데이터셋에서 자동 지표와 인간 판단으로 평가한다.

제안 방법

• 두 가지 VT 변형을 도입: 디코더 입력에 글로벌 잠재 변수(Global latent variable)를 추가한 Global Variational Transformer(GVT)와 디코딩 위치당 잠재 변수 시퀀스를 갖는 Sequential Variational Transformer(SVT).
• SVT에서 비-인과관계(attention) 정보를 활용한 잠재 변수 계산과 함께 Transformer 프레임워크 내에서 CVAE에서 영감을 받은 우선분포(prior)와 후분포(posterior) 잠재 변수 모델링을 사용한다.
• 잠재 변수 소실(vanishing)을 완화하고 정보성 잠재 표현을 촉진하기 위해 KL 애닝(KL annealing)과 BoW(bag-of-words) 보조 손실을 도입한다.
• 잠재 변수가 각 위치에서 미래 생성을 계획하도록 유도하는 SBOW 보조 손실을 보강한 ELBO objective로 학습한다.
• 4층 Transformer 베이스를 사용하고 은닉 차원은 300, 주의 헤드 수는 4, 잠재 변수 차원은 300으로 설정하며, MLE 사전학습을 재사용하고 Adam 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 잠재 변수를 Transformer 기반 대화 모델에 통합하는 것이 의미적 관련성을 해치지 않으면서 응답 다양성을 향상시킬 수 있는가?
• RQ2 글로벌(담화 수준) 대비 순차적(토큰당) 잠재 변수가 생성 품질 및 인간 평가에 어떤 영향을 미치는가?
• RQ3 KL 애닝과 보조 손실이 VT 모델의 학습을 안정화하고 유용한 잠재 정보의 보존에 기여하는가?
• RQ4 GVT와 SVT가 다양한 데이터셋에서 자동 지표와 인간 평가에 어떤 차이를 보이는가?

주요 결과

• GVT와 SVT는 다양성과 인간 판단에서 표준 Transformer 및 CVAE 베이스라인을 능가한다.
• SVT는 MojiTalk에서 임베딩 유사도( EMB_FT 및 EMB_BERT )로 측정한 의미적 관련성에서 더 높은 성과를 내며, Persona+ED에서 미묘한 차이가 나타난다.
• GVT는 재구성 퍼플렉시티(PPL)를 일반적으로 감소시켜 더 풍부한 잠재 정보를 나타내며, SVT는 순차적 잠재 변수로 PPL을 추가로 개선한다.
• GVT와 SVT는 기본선 대비 Dist-1/Dist-2/Dist-3에서 개선을 보이며 더 다양한 출력으로 나타난다.
• 인간 평가에서 SVT가 일관성, 감정, 참여도에서 우수하며, 특정 데이터셋에서 토큰당 잠재 모델링이 정보성을 강화한다.