[논문 리뷰] PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable

Siqi Bao, He Huang외 3명|arXiv (Cornell University)|2019. 10. 17.

Topic Modeling참고 문헌 27인용 수 15

한 줄 요약

이 논문은 대화에서 일대다 응답 매핑 문제를 모델링하기 위해 이산 잠재 변수를 사용하는 사전 훈련된 대화 생성 모델인 PLATO를 제안한다. 레딧과 트위터 데이터에서 유연한 어텐션 메커니즘을 통해 응답 생성과 잠재 행동 인식을 공동으로 훈련함으로써, PLATO는 일반 대화, 지식 기반, 질문 응답 대화 작업 전반에서 최신 기술(SOTA) 성능을 달성하며 기준 모델들보다 낮은 퍼플렉서티를 기록한다.

ABSTRACT

Pre-training models have been proved effective for a wide range of natural language processing tasks. Inspired by this, we propose a novel dialogue generation pre-training framework to support various kinds of conversations, including chit-chat, knowledge grounded dialogues, and conversational question answering. In this framework, we adopt flexible attention mechanisms to fully leverage the bi-directional context and the uni-directional characteristic of language generation. We also introduce discrete latent variables to tackle the inherent one-to-many mapping problem in response generation. Two reciprocal tasks of response generation and latent act recognition are designed and carried out simultaneously within a shared network. Comprehensive experiments on three publicly available datasets verify the effectiveness and superiority of the proposed framework.

연구 동기 및 목표

• 대화 생성에서 한 문맥이 여러 유효한 응답을 가질 수 있는 일대다 매핑 문제를 해결하기 위해.
• 일반 텍스트와 대화 데이터 간의 분포 격차를 줄이기 위해 대규모 레딧과 트위터 대화 데이터로 사전 훈련함으로써.
• 탄력적인 어텐션 메커니즘을 통해 이원적 문맥 이해와 순차적 응답 생성을 통합하기 위해.
• 인간 레이블이 없는 상태에서 분리된, 해석 가능한 대화 의도(잠재적 언어 행위)를 비지도 방식으로 학습하기 위해.
• 공유된 네트워크 내에서 응답 생성과 잠재 행동 인식을 공동 최적화하여 생성 품질을 향상시키기 위해.

제안 방법

• 응답의 잠재적 대화 의도(잠재적 언어 행위)를 나타내기 위해 이산 잠재 변수 z ∈ [1, K] 를 도입한다.
• 양방향 문맥 인코딩과 순차적 생성을 모두 지원하는 탄력적인 자기어텐션 마스크를 갖춘 통합형 트랜스포머 기반 아키텍처를 활용한다.
• 공유된 네트워크 내에서 상호 보완적인 두 작업을 공동으로 사전 훈련한다: (1) 응답 생성 p(r|c, z) 및 (2) 잠재 행동 인식 p(z|c, r).
• 일반 목적의 언어 모델(예: BERT 또는 GPT)로 초기화한 후, 대규모 레딧과 트위터 데이터셋에서 모델을 사전 훈련한다.
• 잠재 표현을 문맥과 응답 양쪽과 정렬하기 위해 대조 학습 목적함수를 사용하여 분리도 및 관련성 향상.
• 생성과 인식 작업 간 상호 보완적 지도를 활용하여 생성된 응답의 품질과 다양성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이산 잠재 변수를 갖는 사전 훈련된 대화 모델이 개방형 대화 생성에서 응답의 다양성과 자연스러움을 향상시킬 수 있는가?
• RQ2 응답 생성과 잠재 행동 인식을 공동으로 학습하는 것이 별도로 훈련하는 것보다 모델 성능을 향상시키는가?
• RQ3 레딧과 트위터 데이터로 사전 훈련하면 일반 텍스트와 대화 데이터 간의 분포 이격을 어느 정도 줄일 수 있는가?
• RQ4 양방향 및 단방향 처리를 모두 지원하는 탄력적인 어텐션 메커니즘이 대화 작업 성능에 기여하는가?
• RQ5 감정 또는 도메인 레이블과 같은 명시적 제어 신호 없이도 잠재 언어 행위를 비지도 방식으로 학습할 경우, 기존 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• PLATO는 일반 대화, 지식 기반 대화, 대화형 질문 응답 세 가지 다른 대화 작업에서 최신 기술(SOTA) 성능을 달성한다.
• 이산 잠재 변수를 갖는 모델(예: 모델 3.1)은 이를 갖지 않은 모델보다 뚜렷이 뛰어나며, 잠재 변수 모델링의 효과를 입증한다.
• 레딧과 트위터 데이터를 활용한 추가 사전 훈련은 일반 언어 모델과 대화 전용 작업 간의 성능 격차를 줄인다.
• 탄력적인 어텐션 메커니즘(예: 모델 1.3)은 고정된 단방향 또는 양방향 설정보다 성능이 뛰어나며, 문맥을 더 잘 포착함을 확인한다.
• 응답 생성과 잠재 행동 인식을 공동으로 훈련하면 별도로 훈련하는 것보다 퍼플렉서티와 응답 품질이 뛰어나다.
• 제거 실험 결과는 명시적 레이블에 의존하지 않고도 다양한, 문맥에 적합한 응답을 모델링하기 위해 잠재 변수 학습이 핵심임을 확인한다.