[논문 리뷰] A Hybrid Task-Oriented Dialog System with Domain and Task Adaptive Pretraining

Boliang Zhang, Ying Lyu외 5명|arXiv (Cornell University)|2021. 02. 08.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 도메인 및 작업 적응형 사전학습을 사용하여 GPT-2를 다중 도메인 대화 작업에 맞게 미세조정하는 하이브리드 엔드 투 엔드 작업 지향 대화 시스템을 제안한다. 대화 특화 데이터셋에서 사전학습하고, NLU, DST, NLG를 다중 작업 미세조정을 통해 공동 최적화함으로써, 최신 기술 성능을 달성하였으며, 인간 평가 평균 성공률 91%로 DSTC9 공동 과제에서 1등을 달성했다.

ABSTRACT

This paper describes our submission for the End-to-end Multi-domain Task Completion Dialog shared task at the 9th Dialog System Technology Challenge (DSTC-9). Participants in the shared task build an end-to-end task completion dialog system which is evaluated by human evaluation and a user simulator based automatic evaluation. Different from traditional pipelined approaches where modules are optimized individually and suffer from cascading failure, we propose an end-to-end dialog system that 1) uses Generative Pretraining 2 (GPT-2) as the backbone to jointly solve Natural Language Understanding, Dialog State Tracking, and Natural Language Generation tasks, 2) adopts Domain and Task Adaptive Pretraining to tailor GPT-2 to the dialog domain before finetuning, 3) utilizes heuristic pre/post-processing rules that greatly simplify the prediction tasks and improve generalizability, and 4) equips a fault tolerance module to correct errors and inappropriate responses. Our proposed method significantly outperforms baselines and ties for first place in the official evaluation. We make our source code publicly available.

연구 동기 및 목표

• 다중 도메인, 다중 목표 상황에서 오차 전파와 높은 공학 비용으로 악화되는 파이프라인 기반 작업 지향 대화 시스템의 한계를 해결한다.
• 일반 목적 언어 모델인 GPT-2와 작업 지향 대화 간의 도메인 갭을 해소하기 위해 사전학습을 대화 특화 분포에 적응시킨다.
• 단일 자동회귀 시퀀스 모델에서 자연어 이해, 대화 상태 추적, 응답 생성을 공동으로 학습함으로써 엔드 투 엔드 대화 시스템의 성능을 향상시킨다.
• 히우리스틱 사전/사후 처리 및 장애 내성 모듈을 통해 신뢰성과 인간다움을 향상시킨다.
• 도메인 적응형 사전학습과 다중 작업 미세조정의 조합을 통해 DSTC9 엔드 투 엔드 다중 도메인 작업 완료 과제에서 최고 성능을 달성한다.

제안 방법

• Schema-Guided Dialog 및 Taskmaster와 같은 외부 대화 데이터셋에서 도메인 적응형 사전학습(DAPT)을 통해 GPT-2를 대화 특화 언어 패턴에 맞추어 사전학습한 후, 미세조정을 수행한다.
• 작업 적응형 사전학습(TAPT)을 적용하여 모델을 작업 지향 대화에 더욱 맞게 조정하지만, 본 연구에서는 성능 향상이 없었다.
• MultiWoz 2.1 데이터셋에서 단일 시퀀스 투 시퀀스 목표를 사용하여 다중 작업 미세조정을 구현하며, 믿음 상태 생성, 응답 생성, 부정 샘플 식별을 공동 최적화한다.
• 대화 기록, 믿음 상태, 데이터베이스 결과, 응답을 하나의 자동회귀 시퀀스로 연결하여 통합 모델링한다.
• 히우리스틱 사전 처리를 통해 에이전트 발화를 템플릿으로 탈특수화 및 정규화하고, 사후 처리를 통해 모델 출력의 일관성과 가독성을 향상시킨다.
• 오류를 감지하고 수정하는 장애 내성 모듈을 구현하여, 일관성 없는 엔티티 참조나 환상적인 정보와 같은 모델 오류를 수정함으로써 응답 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 적응형 사전학습이 작업 지향 대화 설정에서 사전학습된 언어 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 다중 도메인 대화 벤치마크에서 미세조정할 때, 작업 적응형 사전학습이 추가로 모델 성능을 향상시킬 수 있는가?
• RQ3 엔드 투 엔드 대화 시스템에서 NLU, DST, NLG에 대해 공동 목표를 가진 다중 작업 미세조정이 얼마나 효과적인가?
• RQ4 히우리스틱 사전/사후 처리 규칙이 모델 출력의 일반화 능력과 인간다움을 얼마나 향상시키는가?
• RQ5 장애 내성 메커니즘이 모델이 생성한 오류를 효과적으로 수정하고 인간 평가에서 성공률을 향상시킬 수 있는가?

주요 결과

• 제안된 시스템은 인간 평가에서 평균 성공률 91%를 기록하여 DSTC9 공동 과제에서 1등을 달성했다.
• 도메인 적응형 사전학습(DAPT)만으로도 기준 모델 대비 자동 평가 성공률이 3% 향상되어 도메인 특화 적응의 뚜렷한 성과를 입증했다.
• 작업 적응형 사전학습(TAPT)은 성능 향상이 없었고 오히려 약간의 성능 저하를 보였으며, 이는 DAPT가 적용된 상황에서 TAPT가 유익하지 않을 수 있음을 시사한다.
• DAPT와 TAPT의 조합은 DAPT 단독 적용과 유사한 성능을 보였으며, 이는 DAPT가 이 설정에서 주도적이고 가장 효과적인 적응 전략임을 나타낸다.
• 히우리스틱 사전/사후 처리 및 장애 내성 모듈의 사용이 응답 품질과 일관성을 크게 향상시켜 높은 인간 평가 점수에 기여했다.
• 자동 평가에서 강력한 기준 모델들을 초월하여 성공률과 예약률에서 2위를 기록하였으며, 모든 지표에서 뛰어난 성능를 보였다.