[논문 리뷰] Microsoft Dialogue Challenge: Building End-to-End Task-Completion Dialogue Systems

Xiujun Li, Yu Wang외 4명|arXiv (Cornell University)|2018. 07. 29.

Speech and dialogue systems인용 수 60

한 줄 요약

본 논문은 시뮬레이터가 있는 단일 플랫폼과 세 개의 라벨 도메인(movie-ticket, restaurant, taxi)을 사용하여 엔드-투-엔드 태스크 완성 대화 시스템을 개발하고 벤치마크하기 위한 Dialogue Challenge를 제안한다.

ABSTRACT

This proposal introduces a Dialogue Challenge for building end-to-end task-completion dialogue systems, with the goal of encouraging the dialogue research community to collaborate and benchmark on standard datasets and unified experimental environment. In this special session, we will release human-annotated conversational data in three domains (movie-ticket booking, restaurant reservation, and taxi booking), as well as an experiment platform with built-in simulators in each domain, for training and evaluation purposes. The final submitted systems will be evaluated both in simulated setting and by human judges.

연구 동기 및 목표

• 엔드-투-엔드 태스크-완료 대화 연구에서 협업 및 벤치마킹 촉진.
• 다중 도메인에 걸친 표준적이고 인간 주석 데이터세트를 엔드-투-엔드 시스템용으로 제공.
• 훈련 및 평가를 위한 도메인별 시뮬레이터를 포함한 통합 실험 플랫폼 제공.
• 제출된 대화 시스템에 대한 시뮬레이션 평가와 인간 평가를 모두 촉진.

제안 방법

• agenda-based 사용자 모델과 모듈식 NLU/NLG 컴포넌트를 갖춘 user-simulator–dialogue system platform을 도입한다.
• End-to-end 시스템 개발을 지원하기 위해 세 도메인에 걸친 주석이 달린 대화 데이터를 공개한다.
• 태스크-특정 추론 및 응답 생성을 위한 라벨링된 대화로 구축된 지식 베이스를 제공한다.
• 참가자들이 임의의 NLU/NLG 모듈을 연결하고 미리 정의된 태스크 목표에 대해 학습/평가할 수 있도록 한다.
• 통합 프레임워크에서 시뮬레이션 지표와 인간 판단을 사용하여 제출된 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 통합 플랫폼 내에서 세 가지 상이한 도메인(movie-ticket, restaurant, taxi)에서 엔드-투-엔드 대화 시스템이 태스크 완수를 얼마나 효과적으로 달성할 수 있는가?
• RQ2 시뮬레이션 기반 평가와 인간 평가가 시스템 평가 및 진척에 어떤 영향을 미치는가?
• RQ3 다양한 모듈(NLU, state tracking, dialog-acts, NLG)이 도메인 간 엔드-투-엔드 태스크 완성 성능에 어떻게 기여하는가?
• RQ4 표준화된 데이터 및 플랫폼 프레임워크가 대화 연구에서 강화 학습과 벤치마킹을 가속할 수 있는가?

주요 결과

• 세 개의 주석이 달린 태스크 도메인이 공개되었다: movie-ticket booking, restaurant reservation, and taxi ordering.
• Movie-ticket 데이터는 세션당 약 7.5 턴의 2890개 대화를 포함하며; 각 도메인은 11개의 의도와 몇 가지 슬롯을 포함한다(예: movie-ticket의 경우 29).
• 데이터셋 예제와 지식 기반 구조가 엔드-투-엔드 대화 개발 및 평가를 지원하기 위해 제공된다.
• 플랫폼 아키텍처는 사용자 시뮬레이터를 대화 시스템과 연결하여 다중 턴 상호작용 및 평가를 위한 태스크-특정 데이터 접근을 가능하게 한다.
• 평가 계획은 시뮬레이션 기반 지표(성공률, 평균 턴 수, 평균 보상)와 자연스러움 및 일관성에 대한 인간 판단을 모두 포함한다.