[논문 리뷰] Taskmaster-1: Toward a Realistic and Diverse Dialog Dataset

Bill Byrne, K. S. Krishnamoorthi외 8명|arXiv (Cornell University)|2019. 09. 01.

Topic Modeling참고 문헌 26인용 수 75

한 줄 요약

Taskmaster-1은 API 스타일 주석과 기본 신경 모델을 갖춘, 6개 도메인에 걸친 13,215개의 목표지향 대화를 두 가지 방법(WOz의 두 사람 구술 대화 및 자기 대화)으로 수집한 데이터셋을 소개합니다.

ABSTRACT

A significant barrier to progress in data-driven approaches to building dialog systems is the lack of high quality, goal-oriented conversational data. To help satisfy this elementary requirement, we introduce the initial release of the Taskmaster-1 dataset which includes 13,215 task-based dialogs comprising six domains. Two procedures were used to create this collection, each with unique advantages. The first involves a two-person, spoken "Wizard of Oz" (WOz) approach in which trained agents and crowdsourced workers interact to complete the task while the second is "self-dialog" in which crowdsourced workers write the entire dialog themselves. We do not restrict the workers to detailed scripts or to a small knowledge base and hence we observe that our dataset contains more realistic and diverse conversations in comparison to existing datasets. We offer several baseline models including state of the art neural seq2seq architectures with benchmark performance as well as qualitative human evaluations. Dialogs are labeled with API calls and arguments, a simple and cost effective approach which avoids the requirement of complex annotation schema. The layer of abstraction between the dialog model and the service provider API allows for a given model to interact with multiple services that provide similar functionally. Finally, the dataset will evoke interest in written vs. spoken language, discourse patterns, error handling and other linguistic phenomena related to dialog system research, development and design.

연구 동기 및 목표

• 데이터 기반 대화 시스템을 위한 고품질의 목표 지향 대화 데이터 부족 문제를 해결한다.
• 구두 WOz와 자기 대화 접근법을 결합하여 현실적으로 다양한 말뭉치를 제공한다.
• 주석을 간단한 API 호출과 인수로 주석화하여 주석 작업을 용이하게 하고 다중 서비스의 근거를 가능하게 한다.
• 기초 seq2seq 및 Transformer 모델을 벤치마크하고 자동 평가와 인간 판단을 비교한다.

제안 방법

• 6개 도메인(피자, 자동차 수리, 택시/이동 서비스, 영화 티켓, 커피, 레스토랑 예약)에 걸친 13,215개의 대화를 생성한다.
• 크라우드 워커를 사용자로, 훈련된 에이전트를 어시스턴트로 두는 Wizard-of-Oz 설정을 사용해 두 사람 간의 구두 대화를 수집한다.
• 크라우드 워커가 완전한 사용자-보조 대화를 직접 작성하는 자기 대화를 수집한다.
• 대화에 API 호출과 인수를 주석화해 grounding을 가능하게 하고 서비스 간 재사용을 용이하게 한다(복잡한 대화 상태 없음).
• 자가 대화 말뭉치에서 여러 seq2seq 기본 모델(3-그램, 4-그램, LSTM, 주의(attention) 있는 LSTM, 합성계(convolution), Transformer) 및 GPT-2 기준 모델을 학습 및 평가한다.
• 모델 출력에 대해 자동 지표(PPL, BLEU)와 인간 판단(평점/순위)을 비교한다.

실험 결과

연구 질문

• RQ1 작은 지식 베이스에 제한하지 않고도 현실적이고 다양한 목표 지향 대화 데이터셋을 어떻게 구축할 수 있는가?
• RQ2 WOz 2인 대화와 자기 대화가 서로 다른 언어적 특성과 모델 난제를 보여주는가?
• RQ3 다중 서비스 간의 근거화를 위해 API 호출 기반 주석이 충분한가?
• RQ4 자동 지표와 인간 판단 측면에서 Taskmaster-1에서 표준 seq2seq 아키텍처가 최근 벤치마크(예: Transformer, GPT-2)와 비교해 어떤 성능을 보이는가?
• RQ5 이 데이터셋에서 자동 지표와 인간 판단 간의 상관 관계는 어떠한가?

주요 결과

• Taskmaster-1은 6개 도메인에 걸친 13,215개의 대화를 포함하고 있으며, 그 중 5,507개는 구두 대화이고 7,708개는 서면 대화이다.
• 2인 WOz 대화와 자기 대화는 서로 다른 언어적 특성과 모델링의 난이도를 나타내며, 자기 대화는 더 다양하고 자동으로 모델링하기 어렵다.
• 이 데이터셋은 MultiWOZ보다 더 많은 고유 어휘와 현실 세계의 명명된 엔터티를 보유하며, 자기 대화가 MultiWOZ보다 더 높은 perplexity를 보이고 BLEU는 더 낮아 더 큰 모델링 난이도를 시사한다.
• 자기 대화에서 Transformer 기반 모델이 보고된 아키텍처 중 자동 평가(PPL, BLEU)에서 최고치를 달성하고, 랭킹에서 인간 판단과의 일치도가 강하다.
• accept/reject 마커가 있는 API-인자 주석은 다중 서비스 시나리오에 적합한 단순한 grounding 체계를 제공하고 주석 작업을 효율화한다.
• 복사 가능(Copy-enabled) Transformer 변형은 API-인자 예측 정확도를 향상시킨다(Transformer 51.79% vs Transformer 48.73%).