[논문 리뷰] Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems

Pei-Hao Su, David Vandyke외 4명|arXiv (Cornell University)|2015. 08. 14.

Speech and dialogue systems참고 문헌 22인용 수 24

한 줄 요약

이 논문은 시뮬레이션된 사용자 상호작용에서 대화 수준의 보상 형태를 학습하기 위해 게이트형 순환 신경망(GRUs)을 사용하여, 사용자 목표에 대한 사전 지식이 없이도 말하는 대화 시스템에서 온라인 정책 학습을 더 빠르게 할 수 있도록 하는 것을 제안한다. RNN 기반의 형태 신호는 시뮬레이션 및 실제 사용자 환경 모두에서 정책 수렴 속도를 크게 향상시키며, 수작업으로 만든 보상 형태와 기준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Statistical spoken dialogue systems have the attractive property of being able to be optimised from data via interactions with real users. However in the reinforcement learning paradigm the dialogue manager (agent) often requires significant time to explore the state-action space to learn to behave in a desirable manner. This is a critical issue when the system is trained on-line with real users where learning costs are expensive. Reward shaping is one promising technique for addressing these concerns. Here we examine three recurrent neural network (RNN) approaches for providing reward shaping information in addition to the primary (task-orientated) environmental feedback. These RNNs are trained on returns from dialogues generated by a simulated user and attempt to diffuse the overall evaluation of the dialogue back down to the turn level to guide the agent towards good behaviour faster. In both simulated and real user scenarios these RNNs are shown to increase policy learning speed. Importantly, they do not require prior knowledge of the user's goal.

연구 동기 및 목표

• 환경 보상의 희박성으로 인한 말하는 대화 시스템에서의 온라인 정책 학습 수렴 속도가 느린 문제를 해결하기 위해.
• 최적의 정책를 변경하지 않으면서 탐색을 가속화할 수 있는 정보성 있는 턴 수준의 보상 형태 신호를 생성하는 방법을 개발하기 위해.
• 보상 형태에 사용자 목표에 대한 사전 지식이 필요 없도록 하여 실제 사용자와의 실시간 배포를 가능하게 하기 위해.
• RNN(특히 GRUs, LSTMs, 기본 RNNs)이 대화 수준의 수익을 예측하는 데 얼마나 효과적인지 평가하기 위해.
• RNN 기반 형태가 시뮬레이션 및 실제 사용자 온라인 훈련 환경 모두에서 학습 속도를 향상시키는지 입증하기 위해.

제안 방법

• 시뮬레이션된 사용자 상호작용에서의 대화 수준 수익을 기반으로 게이트형 순환 신경망(GRU)을 훈련하여 턴 수준의 형태 보상 신호를 예측한다.
• 연속된 믿음 상태 간 잠재 기능의 차이를 근사하는 데 목적이 있는 제약 조건이 있는 훈련 목표를 사용하여 정책 최적성의 유지 보장을 보장한다.
• 온라인 정책 학습 중에 원래 환경 보상과 함께 RNN의 턴 수준 예측 결과를 추가 보상 신호로 적용한다.
• 인간이 라벨링한 성공/실패 정보와 대화 수익을 포함한 대화 데이터셋을 사용하여 지도 학습 방식으로 RNN을 훈련한다.
• 다양한 대화 길이와 의미 오류 비율을 가진 별도의 훈련, 검증, 테스트 세트를 사용하여 일반화 능력을 평가한다.
• 사용자 목표에 대한 사전 지식이 필요한 수작업 보상 형태 방법과 기준 방법(환경 보상만 사용)과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 RNN은 대화 수준의 수익을 효과적으로 예측하고, 온라인 정책 학습 수렴 속도를 가속화하는 턴 수준의 형태 신호를 생성할 수 있는가?
• RQ2 사용자 목표에 대한 사전 지식이 필요한 수작업 보상 형태 방법보다 RNN 기반 보상 형태가 성능이 뛰어나게 되는가?
• RQ3 의미 오류 비율의 변동과 제한된 훈련 데이터에 대해 RNN 기반 형태 신호는 얼마나 강건한가?
• RQ4 실제 사용자와의 온라인 훈련 환경에서 RNN 기반 형태 신호가 정책 수렴 속도를 향상시킬 수 있는가?
• RQ5 1,000개의 대화로 이루어진 작은 데이터셋으로도 RNN 기반 형태 신호가 효과적으로 작용하는가?

주요 결과

• GRU 기반 RNN은 1,000개의 대화로만 훈련되어도 기본 RNN과 유사한 성능을 달성하여, 높은 데이터 효율성과 인간 라벨링 데이터셋에 대한 잠재적 활용 가능성을 보여준다.
• RNN 기반 형태 신호는 시뮬레이션된 사용자 환경에서 정책 학습 수렴 속도를 크게 향상시켰으며, 기준 방법과 수작업 보상 형태 모두를 뛰어넘는 성능을 보였다.
• 아마존 메카니컬 터크를 통한 실제 사용자 온라인 훈련에서, 초기 400개의 대화 동안 RNN 기반 시스템이 더 빠른 보상 향상을 달성했으며, 명확한 학습 곡선 우월성이 나타났다.
• 의미 오류 비율(0%, 15%, 30%, 45%)에 걸쳐 잘 일반화되어 있어 실제 환경의 변동성에 강건함을 입증했다.
• 예측 정확도와 학습 속도 측면에서 GRU 모델이 기본 RNN과 LSTM보다 略적으로 우수했지만, 통계적으로 유의미한 차이는 없었다.
• 제약 조건이 있는 훈련 방식은 형태 신호가 최적 정책의 최적성을 유지하도록 보장하여, 의도치 않은 최적 행동 변경을 방지했다.