[논문 리뷰] Adding Chit-Chats to Enhance Task-Oriented Dialogues

Kai Sun, Seungwhan Moon외 8명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 인간이 참여하는 방식으로 수집한 경청 대화 응답을 통합하여 임무 지향 대화를 향상시키는 ACCENTOR 프레임워크를 제안한다. 이는 가상 비서가 임무 수행과 사회적 상호작용 대화 사이를 자연스럽게 전환할 수 있도록 한다. Schema-Guided Dialogue와 MultiWOZ 2.1에서 평가된 결과, 임무 성능을 희생시키지 않은 채 참여도와 인간다움을 향상시켰다.

ABSTRACT

Existing dialogue corpora and models are typically designed under two disjoint motives: while task-oriented systems focus on achieving functional goals (e.g., booking hotels), open-domain chatbots aim at making socially engaging conversations. In this work, we propose to integrate both types of systems by Adding Chit-Chat to ENhance Task-ORiented dialogues (ACCENTOR), with the goal of making virtual assistant conversations more engaging and interactive. Specifically, we propose a Human AI collaborative data collection approach for generating diverse chit-chat responses to augment task-oriented dialogues with minimal annotation effort. We then present our new chit-chat-based annotations to 23.8K dialogues from two popular task-oriented datasets (Schema-Guided Dialogue and MultiWOZ 2.1) and demonstrate their advantage over the originals via human evaluation. Lastly, we propose three new models for adding chit-chat to task-oriented dialogues, explicitly trained to predict user goals and to generate contextually relevant chit-chat responses. Automatic and human evaluations show that, compared with the state-of-the-art task-oriented baseline, our models can code-switch between task and chit-chat to be more engaging, interesting, knowledgeable, and humanlike, while maintaining competitive task performance.

연구 동기 및 목표

• 임무 지향 대화 시스템과 개방형 채팅 봇 사이의 격차를 메우기 위해 경청 대화를 기능적 대화에 통합한다.
• 다양한 경청 대화 응답을 수집하기 위한(annotation) 노력의 감소를 위해 인간-AI 협업 데이터 수집 방법을 활용한다.
• 가상 비서 대화의 자연스러움, 참여도, 인간다움을 향상시키면서도 임무 성공률를 유지한다.
• 사용자 목표와 맥락에 따라 임무 지향 응답과 경청 대화 응답을 번갈아 사용할 수 있는 모델을 개발한다.

제안 방법

• 최소한의 인간(annotation) 노력으로 임무 지향 대화 턴에 대해 다양한 경청 대화 응답을 생성하기 위해 인간-AI 협업 데이터 수집 파이프라인을 사용하였다.
• 수집된 경청 대화 응답은 Schema-Guided Dialogue와 MultiWOZ 2.1의 23.8K개 대화에서 애너테이션되었으며, 원본 데이터셋을 풍부하게 하였다.
• 사용자 목표를 공동 예측하고 맥락에 맞는 경청 대화 응답을 생성하기 위해 세 개의 새로운 신경망 모델을 훈련시켰다.
• 모델은 대화 맥락에 따라 임무 지향 모드와 경청 대화 모드 사이를 동적으로 전환할 수 있도록 종단 간(end-to-end)으로 훈련되었다.
• 생성된 경청 대화 응답의 품질과 관련성 검증을 위해 인간 평가를 실시하였다.
• 자동 평가와 인간 평가를 통해 제안된 모델을 최신 기술의 임무 지향 기준 모델들과 비교하였다.

실험 결과

연구 질문

• RQ1 경청 대화 응답은 임무 성능을 저하시키지 않은 채 임무 지향 대화의 참여도와 인간다움을 향상시킬 수 있는가?
• RQ2 다양성과 관련성을 유지하면서 스케일에 맞게 경청 대화를 효율적으로 수집할 수 있는가?
• RQ3 모델이 맥락과 사용자 목표에 따라 임무 모드와 경청 모드를 얼마나 잘 번갈아 사용할 수 있는가?
• RQ4 인간 애너테이션된 경청 대화 응답은 기준 모델 대비 품질과 자연스러움 측면에서 어떻게 비교되는가?
• RQ5 공동 목표 예측과 경청 대화 생성을 위한 종단 간 모델은 별도의 임무 및 응답 생성 시스템보다 성능이 뛰어나게 되는가?

주요 결과

• 인간 평가 결과, 경청 대화가 추가된 대화는 원본 임무 지향 대화에 비해 유의미하게 더 참여도가 높고, 흥미롭고 인간다운 것으로 평가되었다.
• 제안된 모델은 경청 대화 구성 요소를 추가한 후에도 Schema-Guided Dialogue와 MultiWOZ 2.1 양쪽 모두에서 높은 성공률를 유지하며 경쟁 가능한 임무 성능를 달성하였다.
• 인간-AI 협업 데이터 수집 방법은 노력의 감소와 함께 다양한 맥락에 맞는 경청 대화 응답을 생성하는 데 기여하였다.
• 공동 목표 예측과 경청 대화 생성을 위한 훈련을 통해 모델은 임무 모드와 사회적 모드 사이의 코드 스위칭 행동을 향상시켰다.
• 자동 평가 결과, 제안된 모델은 기준 시스템에 비해 더 맥락에 부합하고 다양한 경청 대화 응답을 생성하였다.