[논문 리뷰] Learning from Real Users: Rating Dialogue Success with Neural Networks for Reinforcement Learning in Spoken Dialogue Systems

Pei-Hao Su, David Vandyke외 5명|arXiv (Cornell University)|2015. 08. 13.

Speech and dialogue systems참고 문헌 21인용 수 52

한 줄 요약

이 논문은 사용자 목표에 대한 사전 지식 없이 실제 사용자 상호작용의 턴 수준 특징에서 학습하여 대화 성공 여부를 자동으로 예측하기 위해 순환 신경망(RNN)을 사용하는 것을 제안한다. RNN 모델은 지식 기반 태스크 성공을 사용하는 지도 학습 기반 모델과 유사한 성능을 달성하여, 태스크 목적이 알려지지 않은 상태에서도 실제 사용자와의 상호작용을 통해 효과적인 온라인 정책 학습이 가능하게 하며, 노이즈가 있는 사용자 피드백에 의존하는 방법보다도 우수한 성능을 보인다.

ABSTRACT

To train a statistical spoken dialogue system (SDS) it is essential that an accurate method for measuring task success is available. To date training has relied on presenting a task to either simulated or paid users and inferring the dialogue's success by observing whether this presented task was achieved or not. Our aim however is to be able to learn from real users acting under their own volition, in which case it is non-trivial to rate the success as any prior knowledge of the task is simply unavailable. User feedback may be utilised but has been found to be inconsistent. Hence, here we present two neural network models that evaluate a sequence of turn-level features to rate the success of a dialogue. Importantly these models make no use of any prior knowledge of the user's task. The models are trained on dialogues generated by a simulated user and the best model is then used to train a policy on-line which is shown to perform at least as well as a baseline system using prior knowledge of the user's task. We note that the models should also be of interest for evaluating SDS and for monitoring a dialogue in rule-based SDS.

연구 동기 및 목표

• 사용자 목적이 알려지지 않은 상태에서 실제 사용자가 자발적으로 참여하는 대화 시스템(SDS)의 훈련을 가능하게 하기 위해.
• 사용자 목적이 알려지지 않았고 피드백이 일관되지 않은 실제 환경에서 객관적인 태스크 성공 정의의 과제를 해결하기 위해.
• 지식 기반 태스크 완료에 의존하지 않고 오직 턴 수준 특징만을 사용하여 대화 성공 여부를 평가하는 신경망 기반 보상 예측 모델을 개발하기 위해.
• 이러한 모델이 지식 기반 태스크 목표를 사용하는 기반 모델과 동등하거나 이를 초월하는 성능을 달성하면서 실제 사용자와의 온라인 정책 학습을 효과적으로 가능하게 할 수 있음을 입증하기 위해.
• 통계적 및 규칙 기반 대화 시스템 모두에서 실시간 모니터링 및 정책 학습에 적합한 확장 가능한 자동화된 보상 추정 방법을 제공하기 위해.

제안 방법

• 두 가지 신경망 아키텍처—순환 신경망(RNN)과 합성곱 신경망(CNN)—을 사용하여 대화에서 추출한 턴 수준 특징의 시퀀스를 기반으로 대화 성공 여부를 분류하도록 훈련한다.
• 태스크 성공 여부가 알려진 시뮬레이션 사용자 대화 데이터를 사용하여 훈련하며, 슬롯 채우기 정확도, 대화 길이, 시스템 응답 품질 등의 특징을 활용한다.
• RNN 모델은 대화 이력을 순차적으로 처리하여 턴 간 상호작용의 시간적 의존성을 포착하는 반면, CNN 모델은 고정 길이의 대화 표현에 필터를 적용한다.
• 가장 우수한 성능을 보인 모델(이진 RNN 분류)은 아마존 메카니컬 터크를 통해 실제 사용자와의 온라인 정책 학습 중 보상 신호를 생성하는 데 도입된다.
• 정책 학습은 강화학습을 사용하며, 지식 기반 태스크 성공 대신 RNN 모델이 보상 신호를 제공한다.
• 성능 평가는 자동 평가 지표(정확도, RMSE)와 대화 품질에 대한 6점 리커트 척도 및 이진 성공 레이팅을 포함한 인간 평가를 통해 이루어진다.

실험 결과

연구 질문

• RQ1 사용자의 태스크에 대한 사전 지식이 전혀 없을 때 신경망이 실제 사용자 상호작용에서 대화 성공 여부를 정확하게 예측할 수 있는가?
• RQ2 태스크 전용 레이블 없이 오직 턴 수준 특징만을 사용할 때 RNN과 CNN의 대화 성공 분류 성능는 어떻게 비교되는가?
• RQ3 신경망 기반 보상 예측기가 실제 사용자와의 상호작용에서 효과적인 온라인 정책 학습을 가능하게 할 수 있는가? 이는 지식 기반 태스크 성공을 사용하는 기반 모델과 동등하거나 이를 초월하는가?
• RQ4 한정된 훈련 데이터와 실제 대화 데이터에서 변동하는 오류율에 대해 신경망 모델은 얼마나 강건한가?
• RQ5 노이즈가 있는 사용자 피드백이나 주관적인 평가에 의존하는 방법보다 RNN 기반 보상 예측기가 효과적인 대화 정책 학습을 위해 더 나은 성능을 보일 수 있는가?

주요 결과

• 이진 RNN 모델은 정확도에서 CNN을 능가하며, 단지 1,000개의 훈련 대화만으로도 강건한 성능를 보였다.
• RNN 모델은 검증 세트에서 테스트 정확도 89.5%를 기록했으며, 보상 추정에서 루트 평균 제곱 오차(RMSE)가 0.42로 강력한 회귀 성능를 나타냈다.
• RNN 보상 예측기를 사용한 온라인 정책 학습은 5.0점 만점에 3.94점의 대화 품질 평가를 기록했으며, 이는 지식 기반 태스크 성공을 사용하는 기반 모델의 3.77점보다 略히 높은 성능였다.
• RNN 기반 시스템은 모든 대화를 훈련에 사용한 반면, 기반 모델은 객관적 성공과 주관적 성공 레이팅 간 불일치로 약 15%의 대화를 기각했다. 이는 RNN 접근법이 더 자원 효율적이고 비용 효율적인 것을 의미한다.
• 모델들은 오류율이 다양할 수 있는 테스트 세트에도 잘 일반화되어 있어, 노이즈가 있거나 품질이 변동하는 입력을 가진 실제 환경에서의 구현에 적합함을 시사한다.
• 본 연구는 신경망이 강화학습 훈련에서 지식 기반 태스크 성공을 효과적으로 대체할 수 있음을 입증하며, 사용자 목적이 사전에 알려지지 않은 상태에서도 실제 환경에서 SDS를 구현할 수 있음을 보여준다.