[논문 리뷰] MultiWOZ -- A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling

Paweł Budzianowski, Tsung-Hsien Wen외 5명|arXiv (Cornell University)|2018. 09. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 다수의 도메인을 포함하는 대규모로 완전히 애너테이션된 다중 도메인 작업 중심 대화 데이터셋인 MultiWOZ를 소개한다. 이 데이터셋은 8,438개의 인간-인간 대화를 포함하며, 믿음 상태와 대화 액션에 대해 애너테이션이 되어 있다. 이 데이터셋은 믿음 추적, 대화 액션 예측, 응답 생성에 대한 벤치마크를 가능하게 하며, 언어적 다양성과 다중 도메인 복잡성으로 인해 기존의 베이스라인 성능에 큰 도전 과제가 있음을 보여준다.

ABSTRACT

Even though machine learning has become the major scene in dialogue research community, the real breakthrough has been blocked by the scale of data available. To address this fundamental obstacle, we introduce the Multi-Domain Wizard-of-Oz dataset (MultiWOZ), a fully-labeled collection of human-human written conversations spanning over multiple domains and topics. At a size of $10$k dialogues, it is at least one order of magnitude larger than all previous annotated task-oriented corpora. The contribution of this work apart from the open-sourced dataset labelled with dialogue belief states and dialogue actions is two-fold: firstly, a detailed description of the data collection procedure along with a summary of data structure and analysis is provided. The proposed data-collection pipeline is entirely based on crowd-sourcing without the need of hiring professional annotators; secondly, a set of benchmark results of belief tracking, dialogue act and response generation is reported, which shows the usability of the data and sets a baseline for future studies.

연구 동기 및 목표

• 엔드 투 엔드 및 모듈러 대화 시스템을 훈련하고 평가하기 위한 대규모, 다양한, 완전히 애너테이션된 작업 중심 대화 데이터셋의 부족을 해결하기 위해.
• 전문 애너테이터가 필요 없이도 고품질의 애너테이션을 유지하면서도 확장 가능한 커뮤니티 기반 데이터 수집 파이프라인을 개발하기 위해.
• 복잡한 다중 도메인 대화에서 믿음 추적, 대화 액션 예측, 응답 생성을 위한 종합적인 벤치마크를 제공하기 위해.
• 이전의 문헌들보다 한 단계 큰 규모의 데이터셋을 제공함으로써 엔드 투 엔드 대화 모델링 연구를 가능하게 하기 위해.
• 다양한 도메인과 언어적 변형을 포함한 대화 시스템의 강건성과 일반화 능력을 평가하기 위한 새로운 도전적인 테스트베드로 기능하기 위해.

제안 방법

• 한 명의 참가자(사용자)가 다른 참가자(시스템)와 상호작용하여 실제 작업 중심 대화를 시뮬레이션하는 커뮤니티 기반의 워즈드 오브 오즈 데이터 수집 파이프라인을 사용하였다.
• 각 대화를 구조화된 대화 믿음 상태(슬롯-값 쌍)와 시스템 대화 액션(예: 정보 제공, 요청, 추천 등)으로 애너테이션하였다.
• 레스토랑, 호텔, 택시 등 7개의 도메인에서 대화를 수집하였으며, 24개의 믿음 상태 슬롯과 4,510개의 고유한 슬롯 값이 포함되어 있었다.
• 두 단계의 애너테이션 프로세스를 구현: 첫 번째 단계에서 커뮤니티 워커를 통해 대화를 수집하고, 두 번째 단계에서 구조화된 애너테이션 인터페이스를 사용해 믿음 상태와 대화 액션을 레이블링하였다.
• 데이터셋 전반에 걸쳐 애너테이션 품질과 일관성을 확보하기 위해 검증 및 필터링 파이프라인을 구현하였다.
• 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 모델을 활용해 믿음 추적, 대화 액션 분류, 응답 생성을 위한 베이스라인 모델을 제공하였다.

실험 결과

연구 질문

• RQ1 전문 애너테이터 없이도 커뮤니티 기반의 방법으로 대규모, 다중 도메인, 다중 턴 대화 데이터셋을 어떻게 효율적으로 수집할 수 있는가?
• RQ2 이 데이터셋의 언어적 다양성과 다중 도메인 특성은 기존의 믿음 추적 및 응답 생성 모델에 얼마나 큰 도전을 가하는가?
• RQ3 현재 최고 수준의 모델들은 단일 도메인 벤치마크와 비교해 다중 도메인, 고변동성 데이터 코퍼스에서 어떻게 성능을 내는가?
• RQ4 MultiWOZ의 규모와 복잡성은 엔드 투 엔드 대화 학습을 지원할 수 있으며, 이는 모듈러 접근 방식과 비교해 어떻게 다를 수 있는가?
• RQ5 다중 도메인 환경에서 구조화된 대화 액션에서 자연어 생성을 수행할 때의 주요 과제는 무엇인가?

주요 결과

• MultiWOZ는 8,438개의 대화와 113,556개의 턴을 포함하여, 이전의 완전히 애너테이션된 작업 중심 대화 데이터셋보다 최소 한 단계 이상 큰 규모이다.
• 이 데이터셋은 24개의 믿음 상태 슬롯과 4,510개의 고유한 슬롯 값을 포함하며, 60퍼센트 이상의 대화 턴에서 최소 두 개 이상의 시스템 대화 액션이 발생하여 복잡도가 증가하였다.
• 베이스라인 믿음 추적 모델은 MultiWOZ에서 Inform 점수 71.29%와 Success 점수 60.29%를 기록했으며, 이는 Cam676 코퍼스의 99.17%와 75.08%에 비해 유의미하게 낮아 더 높은 난이도를 보여준다.
• MultiWOZ에서 응답 생성의 BLEU 점수는 어텐션 기반 모델을 사용해 0.189로, SFX 데이터셋의 0.731에 비해 상당히 낮아 언어적 다양성이 더 높다는 것을 반영한다.
• 레스토랑 서브셋에서 응답 생성의 슬롯 오류율(SER)은 4.378%였으며, SFX의 0.46%에 비해 높아 데이터셋의 난이도가 높다는 것을 확인한다.
• 어 attention 메커니즘이 향상되었음에도 불구하고, MultiWOZ와 더 작은, 단순한 데이터셋 간의 성능 격차는 여전히 크며, 더 강력한 모델 개발의 필요성을 강조한다.