[논문 리뷰] A Unified Pre-training Framework for Conversational AI

Siqi Bao, B. J. Chen외 8명|arXiv (Cornell University)|2021. 05. 06.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 대화형 AI를 위한 통합 사전 훈련 프레임워크인 PLATO-2를 제안한다. 이 프레임워크는 두 단계의 커리큘럼 학습 방식을 활용한다: 먼저 임무 지향 대화에서 일대일 응답 생성기를 굵은 해상도로 훈련한 후, 이에 이어 이산 잠재 변수와 공명 평가기로 개선하여 다양한, 일관된 개방형 및 지식 기반 응답을 생성한다. PLATO-2는 DSTC9에서 모든 세 가지 과제에서 최고 성능을 기록하여 개방형 대화, 지식 기반 대화, 종단 간 임무 지향 대화 부문에서 1위를 차지하였다.

ABSTRACT

In this work, we explore the application of PLATO-2 on various dialogue systems, including open-domain conversation, knowledge grounded dialogue, and task-oriented conversation. PLATO-2 is initially designed as an open-domain chatbot, trained via two-stage curriculum learning. In the first stage, a coarse-grained response generation model is learned to fit the simplified one-to-one mapping relationship. This model is applied to the task-oriented conversation, given that the semantic mappings tend to be deterministic in task completion. In the second stage, another fine-grained generation model and an evaluation model are further learned for diverse response generation and coherence estimation, respectively. With superior capability on capturing one-to-many mapping, such models are suitable for the open-domain conversation and knowledge grounded dialogue. For the comprehensive evaluation of PLATO-2, we have participated in multiple tasks of DSTC9, including interactive evaluation of open-domain conversation (Track3-task2), static evaluation of knowledge grounded dialogue (Track3-task1), and end-to-end task-oriented conversation (Track2-task1). PLATO-2 has obtained the 1st place in all three tasks, verifying its effectiveness as a unified framework for various dialogue systems.

연구 동기 및 목표

• 개방형 채팅, 지식 기반 대화, 임무 지향 대화를 포함한 다양한 대화형 AI 과제를 처리할 수 있는 통합 사전 훈련 프레임워크를 개발하는 것.
• 기존 모델이 과제별 맞춤 설정이 필요로 하는 한계를 해결하기 위해 단일이고 유연한 아키텍처를 도입하는 것.
• 일대다 매핑 모델링을 통해 개방형 및 지식 기반 대화에서 응답의 다양성과 일관성을 향상시키는 것.
• 임무 지향 대화에서 더 적절한 결정론적 응답이 필요한 바, 일대일 매핑 모델을 적응시켜 종단 간 임무 지향 대화를 수행하는 것.
• DSTC9에서의 종합적 벤치마킹을 통해 프레임워크의 일반화 능력과 효과성을 검증하는 것.

제안 방법

• 프레임워크는 두 단계의 커리큘럼 학습 프로세스를 사용한다: 먼저 대화 맥락-응답 쌍에 대해 음의 로그우도(NLL) 손실을 사용하여 굵은 해상도의 일대일 응답 생성기를 훈련한다.
• 두 번째 단계에서는 이산 잠재 변수를 도입하여 일대다 매핑을 모델링함으로써 개방형 및 지식 기반 대화에서 다양한 응답 생성을 가능하게 한다.
• 세부적인 생성 모델과 별도의 공명 평가 모델을 함께 훈련시켜 응답 품질과 일관성을 향상시킨다.
• 공유된 인코더-디코더 파rameters를 가진 통합 트랜스포머 백본은 파라미터 효율성과 태스크 간 전이를 가능하게 한다.
• 임무 지향 대화에서는 일대일 매핑 모델이 맥락에서 대화 상태, 시스템 동작, 응답을 종단 간으로 함께 생성한다.
• 지식 기반은 입력에 지식 세그먼트를 추가하여 외부 사실에 기반한 응답 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과제별 재훈련 없이도 단일 사전 훈련 프레임워크가 개방형, 지식 기반, 임무 지향 대화 과제를 효과적으로 처리할 수 있는가?
• RQ2 일대일 및 일대다 매핑 단계를 가진 커리큘럼 학습이 응답 품질과 다양성에 어떻게 기여하는가?
• RQ3 일대일 매핑 모델이 고정밀도로 종단 간 임무 지향 대화를 지원할 수 있는 정도는 어느 정도인가?
• RQ4 일대다 모델링 구성 요소가 지식 기반 대화에 일반화되어 일관성과 관련성을 유지할 수 있는가?
• RQ5 PLATO-2는 종합적이고 다중 과제 평가 벤치마크에서 기존 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• PLATO-2는 DSTC9에서 세 가지 과제 모두 1위를 기록했다: 개방형 대화 상호작용 평가(Track3-task2).
• 지식 기반 대화 정적 평가(Track3-task1)에서 PLATO-2는 더 일관되고 맥락에 기반한 응답으로 베이스라인을 압도했다.
• 종단 간 임무 지향 대화(Track2-task1)에서 PLATO-2는 대화 상태, 시스템 동작, 응답을 함께 생성함으로써 최고 성능을 기록했다.
• 모델은 개방형 대화에서 뛰어난 일관성과 다양성을 보였으며, 일반적이거나 반복적인 응답을 피했다.
• 이산 잠재 변수의 통합은 유창성과 관련성을 유지하면서도 응답의 다양성을 크게 향상시켰다.
• 프레임워크는 단일 아키텍처 안에서 세 가지 서로 다른 대화 패러다임을 성공적으로 통합하여 일반화 능력을 입증했다.