[논문 리뷰] A User Simulator for Task-Completion Dialogues

Xiujun Li, Zachary C. Lipton외 4명|arXiv (Cornell University)|2016. 12. 17.

Speech and dialogue systems참고 문헌 8인용 수 140

한 줄 요약

본 논문은 영화 예매 도메인의 작업-완료 대화에 대해 공용의 하이브리드 규칙 기반 및 모델 기반 사용자 시뮬레이터를 제시하여 RL 기반 정책 학습 및 경험적 에이전트 비교를 용이하게 한다.

ABSTRACT

Despite widespread interests in reinforcement-learning for task-oriented dialogue systems, several obstacles can frustrate research and development progress. First, reinforcement learners typically require interaction with the environment, so conventional dialogue corpora cannot be used directly. Second, each task presents specific challenges, requiring separate corpus of task-specific annotated data. Third, collecting and annotating human-machine or human-human conversations for task-oriented dialogues requires extensive domain knowledge. Because building an appropriate dataset can be both financially costly and time-consuming, one popular approach is to build a user simulator based upon a corpus of example dialogues. Then, one can train reinforcement learning agents in an online fashion as they interact with the simulator. Dialogue agents trained on these simulators can serve as an effective starting point. Once agents master the simulator, they may be deployed in a real environment to interact with humans, and continue to be trained online. To ease empirical algorithmic comparisons in dialogues, this paper introduces a new, publicly available simulation framework, where our simulator, designed for the movie-booking domain, leverages both rules and collected data. The simulator supports two tasks: movie ticket booking and movie seeking. Finally, we demonstrate several agents and detail the procedure to add and test your own agent in the proposed framework.

연구 동기 및 목표

• 재사용 가능한 사용자 시뮬레이터를 제공하여 작업 지향 대화에 대한 강화 학습을 촉진하고 가능하게 한다.
• 데이터 기반 NLG와 어젠다 기반 사용자 모델링을 결합한 시뮬레이터를 제안하여 두 가지 작업: movie ticket booking and movie seeking를 지원한다.
• 대화 정책과 에이전트의 경험적 비교를 용이하게 하기 위한 프레임워크와 데이터셋을 제공한다.

제안 방법

• 사용자 목표와 대화 기록을 나타내고 업데이트하기 위해 어젠다 기반의 스택 형태 사용자 모델을 사용한다.
• 적절한 경우 NLU/NLP 노이즈를 시뮬레이션하기 위한 오류 모델을 포함하여 각 턴에서 현재 사용자 상태와 마지막 시스템 동작으로부터 사용자 행동을 생성한다.
• 강건한 발화를 위해 템플릿 기반과 시퀀스-투-시퀀스 생성의 하이브리드 자연어 생성 접근법을 사용한다.
• 공개 시뮬레이션 프레임워크와 데이터셋 내에서 두 가지 작업(movie ticket booking 및 movie seeking)을 지원한다.
• 맞춤 에이전트와 시뮬레이터를 쉽게 연결할 수 있도록 확장 가능한 에이전트 및 시뮬레이터 인터페이스를 제공한다.

실험 결과

연구 질문

• RQ1 RL 기반 대화 정책 학습과 공정한 에이전트 비교를 가능하게 하는 재사용 가능한 작업 지향 사용자 시뮬레이터를 어떻게 설계할 수 있는가?
• RQ2 하이브리드(어젠다 기반 플러스 데이터 기반) 사용자 시뮬레이션 프레임워크가 영화 도메인에서 작업-완료 대화를 효과적으로 지원할 수 있는가?
• RQ3 정책 학습의 훈련 또는 테스트에서 NLU/NLG 노이즈를 도입하는 함의는 무엇인가?
• RQ4 연구자들이 제안된 프레임워크 내에 자신들의 에이전트를 추가하고 테스트하는 방법은 무엇인가?

주요 결과

• 시뮬레이터는 영화 도메인에서 ticket booking과 movie seeking의 두 가지 작업 유형을 지원한다.
• 실험은 RL 에이전트를 시뮬레이터에 대해 학습시키고 성공률, 평균 보상, 평균 발화 수 등의 지표로 평가하는 방법을 보여준다.
• 하이브리드 NLG 접근법(템플릿 기반과 빔 서치가 포함된 모델 기반)이 대화 행위에서 자연스러운 발화를 생성하는 데 도움이 된다.
• 평가 루프에 NLU가 포함되지 않은 경우 NLU 및 슬롯 수준 노이즈를 시뮬레이션하기 위해 오류 모델이 사용된다.
• 프레임워크는 새로운 에이전트와 사용자 시뮬레이터를 연결할 수 있는 실행 가능한 예제와 코드베이스를 제공한다.
• 저자는 모델 기반 시뮬레이션 통합 및 사용자 목표 변경 처리 등 트레이드오프와 향후 방향에 대해 논의한다.