[논문 리뷰] GODEL: Large-Scale Pre-Training for Goal-Directed Dialog

Baolin Peng, Michel Galley외 7명|arXiv (Cornell University)|2022. 06. 22.

Topic Modeling인용 수 33

한 줄 요약

GODEL은 목표 지향 대화 태스크의 성능 향상을 위한 세 단계의 grounding을 갖춘 대규모 grounded 사전 학습 대화 모델이며, 베이스라인 대비 강한 few-shot 이득을 보이고, 내부 지표에 더해 외재적(유용성) 평가를 도입한다.

ABSTRACT

We introduce GODEL (Grounded Open Dialogue Language Model), a large pre-trained language model for dialog. In contrast with earlier models such as DialoGPT, GODEL leverages a new phase of grounded pre-training designed to better support adapting GODEL to a wide range of downstream dialog tasks that require information external to the current conversation (e.g., a database or document) to produce good responses. Experiments against an array of benchmarks that encompass task-oriented dialog, conversational QA, and grounded open-domain dialog show that GODEL outperforms state-of-the-art pre-trained dialog models in few-shot fine-tuning setups, in terms of both human and automatic evaluation. A novel feature of our evaluation methodology is the introduction of a notion of utility that assesses the usefulness of responses (extrinsic evaluation) in addition to their communicative features (intrinsic evaluation). We show that extrinsic evaluation offers improved inter-annotator agreement and correlation with automated metrics. Code and data processing scripts are publicly available.

연구 동기 및 목표

• Open-domain 목표 지향 대화의 성능 향상을 위한 grounded pre-training을 통해 드라이브.
• 제한된 라벨 데이터로 외부 지식(문서, 데이터베이스)이 필요한 태스크에 대해 파인튜닝 가능.
• 내재적 대화 품질 척도와 함께 통합된 extrinsic (utility) 평가 프레임워크를 제공.

제안 방법

• 세 단계의 grounded pre-training: 언어 웹 데이터, 공개 대화 데이터, 그리고 grounded 대화 데이터.
• 대화 이력 S와 외부 지식 E를 환경 텍스트로 연결하는 시퀀스-투-시퀀스 Transformer 입력을 사용.
• DSTC7 Task 2, MS MARCO, UnifiedQA, Schema-Guided Dialog를 포함한 grounded pre-training 코퍼스가 지식-근거 생성 학습을 가르침.
• 지식 기반 생성, 태스크 지향 대화, 대화형 QA에서 few-shot 및 full 설정으로 파인튜닝.
• 다양한 규모(Godel B 220M, Godel L 770M, Godel XL 175B)로 모델 초기화하고 T5, BART, BlenderBot 베이스라인과 비교.

실험 결과

연구 질문

• RQ1 다양한 태스크에 걸쳐 grounded pre-training이 few-shot 파인튜닝에서 목표 지향 대화 성능을 개선할 수 있는가?
• RQ2 extrinsic (utility) 평가가 자동 지표 및 대화 태스크 간 주석자 간 일치도와 어떤 상관관계를 보이나?
• RQ3 사전 학습 중 grounding(외부 지식 grounding)이 순수 대화식 사전 학습에 비해 지식-기반 생성에서 이득을 주는가?
• RQ4 다른 모델 규모(B, L, XL)가 grounded 대화 태스크의 성능에 어떻게 영향을 미치는가?
• RQ5 Godel 접근 방식이 목표 지향 대화에 대해 PLM(T5, GPT-J 기반 XL) 간 전이 가능한가?

주요 결과

• Godel은 대부분의 지표에서 few-shot 파인튜닝 시 baselines(T5, DialoGPT)보다 우수한 성과를 보인다.
• Grounded pre-training이 가장 높은 성능을 가져오며, 대화만 사전 학습은 해롭고 지식-기반 생성에 grounding이 필수적이다.
• Godel XL은 강력한 결과를 달성하고 few-shot 파인튜닝에서 여러 태스크에서 GPT-3 베이스라인을 능가한다.
• Extrinsic (utility) 평가가 내재적 지표보다 주석자 간 일치도와 자동 지표와의 상관관계가 더 높게 나타난다.
• 인간 평가가 MultiWOZ, WoW, WoI, CoQA 등에서 extrinsic 및 intrinsic 측면 모두에서 Godel을 T5보다 우위로 평가한다.
• 모델 규모를 확장하면 일반적으로 유용성 및 BLEU-유사 지표가 개선되며, grounded 대화 태스크에서 큰 이득이 발생한다.