[논문 리뷰] On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems

Pei-Hao Su, Milica Gašić외 6명|arXiv (Cornell University)|2016. 05. 24.

Speech and dialogue systems참고 문헌 35인용 수 81

한 줄 요약

이 논문은 RNN으로 생성된 대화 임베딩에 대해 가우시안 프로세스 분류를 사용하여 대화 정책과 보상 모델을 공동으로 훈련하는 온라인 주동 보상 학습 프레임워크를 제안한다. 유의미한 사용자 피드백을 능동적으로 선택하고 불확실성을 모델링함으로써, 사전 학습된 시뮬레이터나 대규모 레이블링된 데이터셋이 없이도 실제 운영 환경에서의 보다 우수한 정책 최적화를 달성하면서도, 레이블링 비용을 줄이고 노이즈가 있는 피드백에 대한 강건성을 향상시킨다.

ABSTRACT

The ability to compute an accurate reward function is essential for optimising a dialogue policy via reinforcement learning. In real-world applications, using explicit user feedback as the reward signal is often unreliable and costly to collect. This problem can be mitigated if the user's intent is known in advance or data is available to pre-train a task success predictor off-line. In practice neither of these apply for most real world applications. Here we propose an on-line learning framework whereby the dialogue policy is jointly trained alongside the reward model via active learning with a Gaussian process model. This Gaussian process operates on a continuous space dialogue representation generated in an unsupervised fashion using a recurrent neural network encoder-decoder. The experimental results demonstrate that the proposed framework is able to significantly reduce data annotation costs and mitigate noisy user feedback in dialogue policy learning.

연구 동기 및 목표

• 강화학습을 통한 대화 정책 학습에서 신뢰할 수 없고 비용이 많이 드는 사용자 피드백 문제를 해결하기 위해.
• 실제 음성 대화 시스템에서 사전 학습된 사용자 시뮬레이터나 대규모 레이블링된 데이터셋에 의존하지 않도록 하기 위해.
• 가장 유의미한 피드백 요청만 선택하는 주동 학습을 통해 인간의 레이블링 노력 최소화하기 위해.
• 베이지안 가우시안 프로세스 분류기를 사용해 사용자 피드백의 불확실성과 노이즈를 모델링함으로써 정책 학습의 안정성 향상하기 위해.
• 사전 정의된 작업 성공 신호나 사용자 시뮬레이터 없이도 실제 사용자 상호작용만으로 끝에서 끝까지 온라인 정책 최적화를 가능하게 하기 위해.

제안 방법

• 변동 길이의 대화 이력에서 고정 길이의 비지도 대화 임베딩을 생성하기 위해 순환 신경망(RNN) 오토인코더를 사용한다.
• 이러한 임베딩에 기반해 대화 성공 여부를 예측하기 위해 가우시안 프로세스 분류(GPC) 모델을 훈련하며, 불확실성 추정치를 주동 학습을 이끄는 데 사용한다.
• 주동 학습을 통해 불확실성 또는 정보량이 가장 높은 대화만을 선별해 사용자 피드백을 요청함으로써, 필요한 레이블링 수를 최소화한다.
• 실시간으로 실사용자로부터의 피드백을 사용해 보상 모델을 온라인으로 업데이트함으로써, 대화 정책과 보상 함수를 공동 최적화할 수 있도록 한다.
• 사용자 피드백의 정확성 부족을 처리하기 위해 노이즈 모델을 GPC 프레임워크에 통합함으로써 강건성을 향상시킨다.
• 전체 시스템은 사전 정의된 작업 성공 신호나 사용자 시뮬레이터가 필요 없이 실제 사용자 상호작용에서부터 끝에서 끝까지 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 불확실성 인식 모델링을 갖춘 온라인 주동 보상 학습이 대화 정책 학습에서 필요한 사용자 피드백 레이블링 수를 줄일 수 있는가?
• RQ2 모의 피드백이나 전체 레이블링에 의존하는 방법과 비교해, 온라인 주동 보상 학습으로 훈련된 대화 정책의 성능은 어떠한가?
• RQ3 비지도 RNN 기반 대화 임베딩이 보상 모델링에서 수작업 특징이나 시뮬레이터 기반 표현을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 실제 운영 환경에서 노이즈가 많거나 일관성 없는 사용자 피드백에 대해 제안된 방법은 얼마나 강건한가?
• RQ5 온라인 학습을 통한 정책과 보상 모델의 공동 최적화가 사전 훈련이나 사용자 시뮬레이터 없이도 안정적이고 효과적인 정책 수렴을 달성할 수 있는가?

주요 결과

• 주동 학습을 통해 가장 정보가 많은 경우에만 피드백 요청을 하므로, 데이터 레이블링 비용을 크게 줄였다.
• 노이즈가 있는 사용자 피드백이 존재하는 상황에서도 캐번리 레스토랑 도메인에서 최신 기술 대비 더 뛰어난 정책 최적화 성능을 달성했다.
• 가우시안 프로세스 보상 모델은 불확실성을 효과적으로 모델링하고 노이즈를 걸러내어 일관성 없는 사용자 평가에 대해 강건함을 입증했다.
• 비지도 RNN 기반 대화 임베딩은 레이블이 전혀 필요 없이도 고품질의 보상 예측을 가능하게 하는 압축되고 효과적인 표현을 제공했다.
• 정책과 보상 모델의 온라인 공동 훈련은 주로 주관적인 사용자 피드백에 의존하는 방법에서 관찰되는 불안정성과는 다르게 안정적인 학습 동역학을 이끌어냈다.
• 이 프레임워크는 사용자 시뮬레이터나 대규모 레이블링된 데이터셋이 없이도 실제 환경에서 끝에서 끝까지 온라인 정책 학습을 가능하게 했다.