[논문 리뷰] Building a Conversational Agent Overnight with Dialogue Self-Play

Pararth Shah, Dilek Hakkani‐Tür외 5명|arXiv (Cornell University)|2018. 01. 15.

Topic Modeling참고 문헌 17인용 수 161

한 줄 요약

본 논문은 자동화된 자기놀이(Self-Play)와 크라우드소싱을 결합한 M2M 프레임워크를 제시하여 엔드투엔드 목표지향 대화 에이전트를 신속하게 부트스트랩하고, 몇 시간 안에 다양하고 고품질의 데이터셋을 생성합니다. 이는 태스크 스키마와 API 클라이언트로 구동되는 태스크 무관 파이프라인을 구축하여 개요를 생성하고, 이를 크라우드워커가 재작성(paraphrase)하여 학습용 자연어 대화를 만듭니다.

ABSTRACT

We propose Machines Talking To Machines (M2M), a framework combining automation and crowdsourcing to rapidly bootstrap end-to-end dialogue agents for goal-oriented dialogues in arbitrary domains. M2M scales to new tasks with just a task schema and an API client from the dialogue system developer, but it is also customizable to cater to task-specific interactions. Compared to the Wizard-of-Oz approach for data collection, M2M achieves greater diversity and coverage of salient dialogue flows while maintaining the naturalness of individual utterances. In the first phase, a simulated user bot and a domain-agnostic system bot converse to exhaustively generate dialogue "outlines", i.e. sequences of template utterances and their semantic parses. In the second phase, crowd workers provide contextual rewrites of the dialogues to make the utterances more natural while preserving their meaning. The entire process can finish within a few hours. We propose a new corpus of 3,000 dialogues spanning 2 domains collected with M2M, and present comparisons with popular dialogue datasets on the quality and diversity of the surface forms and dialogue flows.

연구 동기 및 목표

• 새로운 작업에 대한 광범위한 인간 데이터 수집 없이도 목표지향 대화 에이전트를 신속하게 부트스트랩해야 할 필요성을 제시한다.
• 크라우드소싱 노력을 감소시키면서 대화의 다양성과 커버리지를 증가시키는 데이터 효율적 프레임워크를 제안한다.
• 자체 놀이를 통해 대화 개요를 먼저 생성한 뒤 재구성 작업(paraphrase task)을 통해 자연어로 변환하는 2단계 프로세스를 도입한다.
• M2M으로 생성된 데이터와 기존 대화 데이터셋을 비교하는 데이터셋과 경험적 평가를 통해 품질과 다양성의 향상을 보여준다.

제안 방법

• 슬롯 기반 스키마 S와 후보 엔티티를 질의하기 위한 API 클라이언트 C로 구성된 태스크 명세를 정의한다.
• Agenda 기반 사용자 시뮬레이터와 유한 상태 시스템 봇 간의 자기 놀이를 통해 대화 흐름을 탐색하여 개요 o를 생성한다.
• 도메인 일반 템플릿 발화 생성기를 통해 각 개요를 자연어 대화로 변환한다.
• 맥락 재작성 작업에서 크라우드 워커가 각 템플릿 발화를 자연스럽고 실제적인 발화 u로 재작성한다.
• 발화에 슬롯 범위와 의미를 검증하고 주석화하며, 선택적으로 활성 학습 기반 보정으로 품질을 보강한다.
• 추가적인 개요를 샘플링하고 재사용된 재작성 맵으로 추가 대화를 합성하는 방식으로 데이터를 확장할 수 있다.

실험 결과

연구 질문

• RQ1 자동화된 자기놀이와 크라우드소싱을 어떻게 결합하여 고품질의 다양하고 작업 관련 대화 데이터셋을 신속하게 생성할 수 있는가?
• RQ2 M2M이 전통적인 크라우드소싱 방식인 Wizard-of-Oz나 스킬 수준 데이터 수집에 비해 대화 언어 및 흐름의 커버리지를 더 잘 제공하는가?
• RQ3 생성된 데이터셋이 모듈형 및 엔드투엔드 대화 모델 모두의 목표 지향 작업 학습에 효과적으로 활용될 수 있는가?
• RQ4 새로운 작업 데이터셋을 M2M으로 부트스트랩할 때 실질적인 비용과 시간 절감이 어느 정도인가?

주요 결과

• M2M은 DSTC2 유사 레스토랑 데이터셋보다 언어 다양성과 더 풍부한 대화 흐름을 제공합니다(예: 회당 더 많은 고유 전이와 하위대화).
• 프레임워크는 자기놀이와 크라우드소싱 재작성의 조합으로 두 도메인(레스토랑 및 영화 티켓)에서 3,000개의 대화를 생성합니다.
• 크라우드 워커는 맥락 재작성 방식으로 자연어 재진술을 제공하여 발화를 의미와 슬롯 값으로 효율적으로 주석화할 수 있게 합니다.
• 결합된 접근 방식은 수 시간 내 데이터셋 구성 및 모델 학습을 가능하게 하며, 크라우드 워커 평가 품질은 사용자 및 시스템 턴 모두에 우호적임을 시사합니다.
• M2M 데이터셋은 상태 추적, 언어 이해, 정책, 생성 구성요소의 학습을 지원하고 강화 학습으로 엔드투엔드 모델의 부트스트랩에 활용될 수 있습니다.