[논문 리뷰] Deep Reinforcement Learning for Dialogue Generation

Jiwei Li, Will Monroe외 4명|arXiv (Cornell University)|2016. 06. 05.

Topic Modeling참고 문헌 45인용 수 421

한 줄 요약

이 논문은 심층 강화학습을 Seq2Seq 대화 모델과 결합하여 두 명의 가상 에이전트를 시뮬레이션하고, 정보성, 일관성, 답변 용이성에 대한 장기 보상을 최적화함으로써 보다 상호작용적이고 지속적인 대화를 유도한다.

ABSTRACT

Recent neural models of dialogue generation offer great promise for generating responses for conversational agents, but tend to be shortsighted, predicting utterances one at a time while ignoring their influence on future outcomes. Modeling the future direction of a dialogue is crucial to generating coherent, interesting dialogues, a need which led traditional NLP models of dialogue to draw on reinforcement learning. In this paper, we show how to integrate these goals, applying deep reinforcement learning to model future reward in chatbot dialogue. The model simulates dialogues between two virtual agents, using policy gradient methods to reward sequences that display three useful conversational properties: informativity (non-repetitive turns), coherence, and ease of answering (related to forward-looking function). We evaluate our model on diversity, length as well as with human judges, showing that the proposed algorithm generates more interactive responses and manages to foster a more sustained conversation in dialogue simulation. This work marks a first step towards learning a neural conversational model based on the long-term success of dialogues.

연구 동기 및 목표

• 일회 턴 MLE-학습 Seq2Seq 대화 모델을 넘어서 장기 대화 성공으로 나아가야 할 필요성을 동기 부여한다.
• 시뮬레이션 대화에서 미래 보상을 최대화하기 위해 정책 기울기(policy gradient)를 사용하는 신경망 RL 생성 프레임워크를 제안한다.
• 앞을 내다보는 정보성 있고 일관된 대화 특성을 포착하는 보상 구성요소를 정의한다.
• 더 매력적이고 지속적인 대화를 생성하는 정책을 학습하기 위해 두 에이전트 대화 시뮬레이션을 활용한다.

제안 방법

• 무한한 행동 공간에서 인코더-디코더 정책의 행동으로 발화를 표현한다.
• 두 가상의 에이전트 간의 대화를 시뮬레이션하여 상태-행동 공간을 탐색하고 p_RL(p_{i+1}|p_i,q_i))를 학습한다.
• 세 가지 항을 결합하는 보상 r(a,[p_i,q_i])를 정의한다: 답하기 용이성 (r1), 정보 흐름 (r2), 그리고 의미적 일관성 (r3).
• MLE 유사 토큰으로 시작하고 점진적으로 RL 업데이트로 전환하는 커리큘럼 학습 전략으로 정책 기울기로 학습한다.
• 상호 정보(mutual-information) 목표로 RL 정책을 초기화한 다음 분산 감소를 위한 베이스라인을 사용해 정책 기울기로 최적화한다.
• 감독 학습 데이터로 사전 학습한 후 대화 시뮬레이션을 통해 다듬는 AlphaGo 스타일의 초기화를 사용한다.

실험 결과

연구 질문

• RQ1 딥 RL이 장기 보상을 통해 표준 Seq2Seq 훈련보다 오픈 도메인 대화 생성을 향상시킬 수 있는가?
• RQ2 앞을 내다보는 정보성 있고 일관된 대화에 대한 보상 구성요소가 더 길고 더 상호작용적인 대화를 이끄는가?
• RQ3 두 에이전트 대화 시뮬레이션 프레임워크가 전통적 접근법보다 더 다양한 지속적 응답을 낳는가?
• RQ4 상호 정보와 커리큘럼 학습으로 RL 성능에 미치는 영향은 무엇인가?
• RQ5 자동 평가와 인간 평가가 장기 대화 품질의 개선을 어떻게 반영하는가?

주요 결과

• RL 모델은 Seq2Seq 및 상호 정보 기반 기준선보다 더 긴 시뮬레이션 대화를 산출한다.
• RL로 생성된 응답은 더 상호작용적이며 질문으로 끝나는 경향이 있어 턴 교대를 촉진한다.
• RL은 인간이 판단한 다중 턴 품질을 개선하고 기준선에 비해 답하기 용이성을 증가시킨다.
• RL 하에서 생성된 답변의 다양성이 표준 Seq2Seq 및 상호 정보 모델보다 높다.
• 상호 정보 초기화와 RL의 결합이 대화 유지에 있어 최상의 성능을 유도한다.
• BLEU와 perplexity는 장기 대화 성공과 상관관계가 없으며 RL은 이러한 지표로 포착되지 않는 이점을 보인다.