[논문 리뷰] Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems

Bing Liu, Gökhan Tür외 3명|arXiv (Cornell University)|2018. 04. 18.

Speech and dialogue systems참고 문헌 27인용 수 20

한 줄 요약

이 논문은 엔드투엔드 훈련 가능한 작업 지향 대화 시스템을 위한 하이브리드 이mitation 및 강화 학습 프레임워크를 제안하며, 상호작용 실패 시 인간의 지도를 통해 학습하고, 이후 단계에서 사용자 피드백을 통해 학습할 수 있도록 한다. 이 방법은 오프라인 사전 훈련과 온라인 상호작용 간의 분포 이탈 문제를 해결함으로써 작업 성공률과 대화 상태 추적 정확도를 향상시키며, 엔드투엔드 미세조정을 통해 지도 학습 또는 정책 전용 강화 학습 접근 방식을 초월한 성능 향상을 이룬다.

ABSTRACT

In this work, we present a hybrid learning method for training task-oriented dialogue systems through online user interactions. Popular methods for learning task-oriented dialogues include applying reinforcement learning with user feedback on supervised pre-training models. Efficiency of such learning method may suffer from the mismatch of dialogue state distribution between offline training and online interactive learning stages. To address this challenge, we propose a hybrid imitation and reinforcement learning method, with which a dialogue agent can effectively learn from its interaction with users by learning from human teaching and feedback. We design a neural network based task-oriented dialogue agent that can be optimized end-to-end with the proposed learning method. Experimental results show that our end-to-end dialogue agent can learn effectively from the mistake it makes via imitation learning from user teaching. Applying reinforcement learning with user feedback after the imitation learning stage further improves the agent's capability in successfully completing a task.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 오프라인 지도 학습 사전 훈련과 온라인 상호작용 강화 학습 간의 분포 이탈 문제를 해결하기 위해.
• 사용자 지도의 비용을 줄이기 위해 이와 함께 바이너리 피드백을 사용하는 효율적인 강화 학습을 조합함으로써.
• 공동 훈련을 통해 대화 정책, 상태 추적, 자연어 이해를 엔드투엔드 최적화할 수 있도록 하기 위해.
• 사람이 참여하는 지도와 피드백을 통한 상호작용 학습을 통해 작업 성공률과 대화 상태 추적 정확도를 향상시키기 위해.
• 실제 사용자 상호작용 환경에서 인간 평가자들을 활용하여 하이브리드 학습의 효과성을 평가하기 위해.

제안 방법

• 대화 에이전트는 자연어 이해, 대화 상태 추적, 정책 학습을 공동으로 최적화하는 신경망 아키텍처를 사용하여 엔드투엔드로 훈련된다.
• 이 방법은 먼저 대화 코퍼스를 대상으로 지도 학습을 적용하여 에이전트를 사전 훈련한다.
• 에이전트가 상호작용 도중 실수를 저지를 경우, 사용자가 수정 지도(지도)를 제공하며, 이는 미세조정을 통한 이mitation 학습을 위해 훈련 데이터에 추가된다.
• 이mitation 학습 이후, 에이전트는 대화 종료 시점의 바이너리 피드백(성공/실패)만을 사용하여 강화 학습을 계속한다.
• 모델은 입력 임bed딩 레이어를 포함한 모든 구성 요소를 업데이트하기 위해 엔드투엔드 역전파를 활용하여 전체 파ip라인에 걸쳐 공동 최적화를 보장한다.
• 이 접근 방식은 인간의 지도를 통해 중요한 오류 복구에 집중함으로써 사용자 지도 사이클 수를 줄이며, 최소한의 피드백으로도 확장 가능한 강화 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대화 에이전트는 사전 훈련에서 다루지 않은 실수를 복구하기 위해 온라인 상호작용 중 인간의 지도를 효과적으로 학습할 수 있는가?
• RQ2 이mitation 학습과 인간의 지도, 이후 강화 학습을 조합함으로써 지도 학습 또는 강화 학습 전용 미세조정보다 작업 성공률이 향상되는가?
• RQ3 사용자 입력 변동으로 인한 분포 이탈 상황에서 엔드투엔드 미세조정이 대화 상태 추적 정확도 향상에 얼마나 기여하는가?
• RQ4 하이브리드 학습 방법은 정책 전용 강화 학습 미세조정 대비 학습 효율성과 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 사용자 지도와 피드백을 모두 통해 학습하는 에이전트의 대화 품질 향상이 인간 평가자들에 의해 뚜렷하게 인지되는가?

주요 결과

• SL + IL + RL 모델은 인간 평가에서 4.603점(1–5점 척도)의 작업 성공률을 기록하여, SL 전용 모델(3.987점)과 SL + IL 모델(4.378점)을 크게 앞서며 유의미하게 높은 성능을 보였다.
• 500회의 이mitation 학습 세션 이후, 대화 상태 추적 정확도는 분포 이탈 상황에서의 50.51%에서 67.47%로 향상되어 새로운 사용자 입력 분포에 대한 효과적인 적응을 보였다.
• 엔드투엔드 강화 학습 미세조정은 정책 전용 훈련보다 높은 작업 성공률을 달성하여, 모든 모델 구성 요소의 공동 최적화의 이점이 있음을 시사했다.
• SL + IL + RL 모델은 더 긴 대화를 포함한 어려운 작업에서 높은 성공률을 기록하여, SL + RL 전용 모델 대비 더 나은 전략 학습 능력을 보였다.
• 인간 평가자들은 SL + IL + RL 모델을 가장 유용하고 자연스럽다고 평가하여 평균 점수 4.603점을 기록했으며, 이는 사용자 경험 향상의 증거로 간주된다.
• 이 방법은 핵심 오류 복구에 집중함으로써 빈번한 사용자 지도가 필요로 하는 것을 줄였으며, 同시에 최소한의 피드백으로도 효율적인 강화 학습을 가능하게 했다.