[논문 리뷰] A Tailored Pre-Training Model for Task-Oriented Dialog Generation

Jing Gu, Qingyang Wu외 3명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 18인용 수 8

한 줄 요약

이 논문은 사용자 및 시스템 역할을 별도로 처리하기 위해 GPT-2 인코더를 각각 사용하고, 대규모 교사 GPT로부터 지식 distillation을 적용하며, 시작 위치 랜덤화와 역사 할인 기법을 도입한 사전 fine-tuning된 역할 교환 언어 모델인 PRAL을 제안한다. PRAL은 어떤 작업별 애너테이션도 사용하지 않고 CamRest676, MultiWOZ, PersuasionForGood에서 최신 기술(SOTA) 성능을 달성하여 성공률, 유창성, 일관성, 다양성 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

The recent success of large pre-trained language models such as BERT and GPT-2 has suggested the effectiveness of incorporating language priors in downstream dialog generation tasks. However, the performance of pre-trained models on the dialog task is not as optimal as expected. In this paper, we propose a Pre-trained Role Alternating Language model (PRAL), designed specifically for task-oriented conversational systems. We adopted (Wu et al., 2019) that models two speakers separately. We also design several techniques, such as start position randomization, knowledge distillation, and history discount to improve pre-training performance. We introduce a task-oriented dialog pretraining dataset by cleaning 13 existing data sets. We test PRAL on three different downstream tasks. The results show that PRAL performs better or on par with state-of-the-art methods.

연구 동기 및 목표

• 기존의 사전 훈련된 언어 모델이 역할 기반 대화 시스템에서 특정 발화자 스타일을 잘 처리하지 못하고, 길이가 변하는 대화에 취약한 점을 해결하기 위해.
• 대화의 구조와 맥락에 특화된 기법을 설계하여 대화 생성을 위한 사전 훈련의 효과를 향상시키기 위해.
• 13개의 기존 데이터셋에서 유도된 고품질의 다중 도메인 대화 코퍼스(PretrainDial)를 구축하여 대규모 사전 훈련을 지원하기 위해.
• 작업별 애너테이션에 의존하지 않고도 최신 기술(SOTA) 성능을 달성하기 위해.

제안 방법

• PRAL은 사용자와 시스템 역할을 각각 모델링하기 위해 별도의 GPT-2 언어 모델 두 개를 사용하며, 이는 역할 교환 대화 모델(ARDM)의 영감을 받았다.
• 시작 위치 랜덤화(SPR)는 위치 임베딩이 특정 발화 내용에 얽매이지 않도록 하여 길이가 변하는 대화에서의 일반화 능력을 향상시킨다.
• 지식 distillation은 대규모 사전 훈련된 GPT-2를 교사로 삼아 공공지식을 전이하고 학생 모델의 응답 품질을 향상시킨다.
• 역사 할인은 대화 내 발화를 재가중하여 최근 대화에 더 높은 중요도를 부여함으로써 맥락 정보를 더 잘 유지한다.
• 모델는 13개의 다양한 소스(텔레비전 대본, 작업 중심 대화 등)에서 유도된 총 142,298개의 대화로 구성된 정제된 데이터셋 PretrainDial에서 사전 훈련된다.
• 微조정(fine-tuning)은 CamRest676, MultiWOZ, PersuasionForGood 세 가지 작업 중심 대화 데이터셋에서 수행되며, 자동 평가 및 인간 평가 지표로 평가된다.

실험 결과

연구 질문

• RQ1 특화된 대화 생성을 위한 사전 훈련된 언어 모델이 작업 중심 대화 작업에서 일반 목적 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 역할 기반 모델링과 지식 distillation은 대화의 일관성과 사실적 일致성 향상에 얼마나 효과적인가?
• RQ3 시작 위치 랜덤화 기법이 길이가 변하는 대화 시퀀스에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 고품질의 정제된 사전 훈련 데이터가 더 큰 크기이지만 노이즈가 많은 데이터셋보다 대화 사전 훈련에서 더 우수한 성능을 내는가?
• RQ5 작업 애너테이션 없이 사전 훈련된 모델이 작업 후 대화 작업에서 최신 기술(SOTA) 성능을 달성할 수 있는가?

주요 결과

• CamRest676에서 PRAL은 BLEU-4 점수 21.6을 기록하여 SOTA ARDM 모델을 능가했으며, 애너테이션 없이도 최신 기술인 Sequicity 방법을 능가했다.
• MultiWOZ에서 PRAL은 LaRL 기준으로 BLEU-4 점수 68.8% 향상되었으며, 전체 점수 0.82, 다양성 점수 0.73를 기록해 HDSA 및 LaRL과 비교해 모든 지표에서 승리했다.
• PersuasionForGood에서 PRAL은 ARDM 대비 BLEU-2 점수 63% 향상되었으며, 인간 평가에서 유창성, 논리성, 일관성, 다양성 측면에서 유의미하게 높은 점수를 기록했다.
• 인간 평가 결과, PRAL은 기부 평균 점수 0.99를 기록하여 ARDM의 0.62보다 유의미하게 높아 더 강력한 설득 효과를 보였다.
• 제거 실험(ablation study) 결과, 대규모 교사 GPT로부터의 지식 distillation이 가장 중요한 성분임을 확인했으며, 성능 향상에 기여했다.
• 300MB의 고품질 데이터(PretrainDial)만을 사용했음에도 불구하고, PRAL은 Reddit 데이터 30GB를 사용한 DialoGPT를 능가했으며, 이는 데이터 품질이 규모를 능가함을 보여준다.