[논문 리뷰] End-to-End Task-Completion Neural Dialogue Systems

Xiujun Li, Yun-Nung Chen외 3명|arXiv (Cornell University)|2017. 03. 03.

Speech and dialogue systems참고 문헌 18인용 수 58

한 줄 요약

이 논문은 강화학습으로 LU, DM, NLG를 공동으로 학습하는 엔드-투-엔드 신경 대화 시스템을 제시하고, 영화 표 예매 도메인에서 LU 오류에 대한 강건성을 분석한다.

ABSTRACT

One of the major drawbacks of modularized task-completion dialogue systems is that each module is trained individually, which presents several challenges. For example, downstream modules are affected by earlier modules, and the performance of the entire system is not robust to the accumulated errors. This paper presents a novel end-to-end learning framework for task-completion dialogue systems to tackle such issues. Our neural dialogue system can directly interact with a structured database to assist users in accessing information and accomplishing certain tasks. The reinforcement learning based dialogue manager offers robust capabilities to handle noises caused by other components of the dialogue system. Our experiments in a movie-ticket booking domain show that our end-to-end system not only outperforms modularized dialogue system baselines for both objective and subjective evaluation, but also is robust to noises as demonstrated by several systematic experiments with different error granularity and rates specific to the language understanding module.

연구 동기 및 목표

• 모듈식 시스템에서 엔드-투-엔드 태스크 지향 대화 시스템으로의 이동을 동기로 삼아 모듈 간 오류 전파를 줄인다.
• 구조화된 데이터베이스와 직접 상호작용하여 태스크를 완료하는 엔드-투-엔드 프레임워크를 개발한다.
• LU/NLG 잡음 및 오류에 대한 RL 기반 대화 관리의 강건성을 평가한다.
• 언어 이해 오류(의도 대 슬롯)가 시스템 성능에 어떤 영향을 주는지에 대한 인사이트를 제공한다.

제안 방법

• 사용자 발화를 받아 LU를 통해 의미 프레임을 형성하고 DM(상태 트래커 및 정책 학습자)을 사용하여 엔드-투-엔드 대화를 수행하는 엔드-투-엔드 신경 대화 시스템을 제안한다.
• LU에서 의도 분류와 슬롯 채움을 하나의 LSTM으로 공동 수행한다.
• 시스템 행동을 선택하기 위해 Deep Q-Network(DQN)으로서의 강화학습 기반 대화 관리자를 구현한다.
• Agenda 기반 사용자 모델링과 NLG 구성요소(템플릿 및 모델 기반)로 엔드-투-엔드 학습을 가능하게 하는 사용자 시뮬레이터를 도입한다.
• 의도 및 슬롯 수준의 LU 잡음을 시뮬레이션하는 오류 모델을 도입하여 다양한 오류 유형과 비율에서의 강건성 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 RL 기반 대화 시스템은 태스크 완료 설정에서 모듈식 기준선과 비교하여 어떻게 성능을 보이는가?
• RQ2 의도 및 슬롯 수준의 다양한 LU 오류에 대해 엔드-투-엔드 시스템은 얼마나 강건하며 어떤 오류 유형이 성능을 가장 악화시키는가?
• RQ3 프레임 수준 학습 설정과 자연어 학습 설정에서 서로 다른 LU/NLG 잡음이 시스템 성공률과 대화 길이에 어떠한 영향을 미치는가?
• RQ4 실세계 작업 중 대화 중에 사용자가 주도하는 유연한 상호작용을 시스템이 처리할 수 있는가?

주요 결과

• End-to-end RL 에이전트는 노이즈 설정에서 규칙 기반 기준선보다 성공률에서 우수하다(예: 90%, 79%, 76%로 증가하는 오류 비율 하에서).
• Slots 수준의 오류가 의도 수준의 오류보다 성능에 더 큰 부정적 영향을 주며, 잘못된 슬롯 값이 특히 해롭다.
• RL 에이전트는 노이즈가 있는 의도에 대해 강건성을 보여 주며, 사용자에게 재확인하거나 확인하는 행동을 학습하는 경향이 있어 대화 길이가 길어지는 비용이 든다.
• 더 높은 슬롯 오류 비율에서 시스템 성능이 악화되며 슬롯 수준의 잡음에 의도보다 더 민감한 모습을 보인다.
• 사람에 의한 평가에서 RL 에이전트가 규칙 기반 에이전트보다 목표 성공 및 주관적 사용자 평가 모두에서 크게 우수한 것으로 나타났다.