[論文レビュー] Deep Reinforcement Learning for Dialogue Generation

Jiwei Li, Will Monroe+4 more|arXiv (Cornell University)|Jun 5, 2016

Topic Modeling参考文献 45被引用数 421

ひとこと要約

この論文は深層強化学習をSeq2Seq対話モデルと統合し、二つの仮想エージェントをシミュレートし、informativ性、コヒーレンス、回答のしやすさの長期報酬を最適化することで、より対話的で持続的な会話を実現する。

ABSTRACT

Recent neural models of dialogue generation offer great promise for generating responses for conversational agents, but tend to be shortsighted, predicting utterances one at a time while ignoring their influence on future outcomes. Modeling the future direction of a dialogue is crucial to generating coherent, interesting dialogues, a need which led traditional NLP models of dialogue to draw on reinforcement learning. In this paper, we show how to integrate these goals, applying deep reinforcement learning to model future reward in chatbot dialogue. The model simulates dialogues between two virtual agents, using policy gradient methods to reward sequences that display three useful conversational properties: informativity (non-repetitive turns), coherence, and ease of answering (related to forward-looking function). We evaluate our model on diversity, length as well as with human judges, showing that the proposed algorithm generates more interactive responses and manages to foster a more sustained conversation in dialogue simulation. This work marks a first step towards learning a neural conversational model based on the long-term success of dialogues.

研究の動機と目的

• 1 回の発話にとどまるMLEで訓練されたSeq2Seq対話モデルを超え、長期的な対話の成功へ向かう必要性を動機づける。
• 将来の報酬を最大化するためにポリシー勾配を用いるニューラルRL生成フレームワークを提案する。
• 前向きな情報性と一貫性を含む対話特性を捉える報酬成分を定義する。
• 二エージェント対話のシミュレーションを活用して、より魅力的で持続的な対話を生み出す方策を学習する。

提案手法

• 発話を無限の行動空間上のエンコーダ-デコーダ方策の行動として表現する。
• 二つの仮想エージェント間で対話をシミュレーションして状態-行動空間を探索し、方策 p_RL(p_{i+1}|p_i,q_i) を学習する。
• 報酬 r(a,[p_i,q_i]) を3項の和として定義する：回答のしやすさ (r1)、情報の流れ (r2)、意味的一貫性 (r3)。
• MLE似のトークンで開始し、徐々にRL更新へシフトするカリキュラム学習戦略を用いて訓練する。
• RL方策を相互情報量目的で初期化し、次に分散を減らすためのベースラインを用いたポリシー勾配で最適化する。
• AlphaGo風の初期化を用い、監視データで事前学習し、その後対話シミュレーションで精練する。

実験結果

リサーチクエスチョン

• RQ1 長期報酬を持つ深層強化学習は、標準のSeq2Seq訓練よりもオープンドメイン対話生成を改善できるか。
• RQ2 前方志向性・情報性・一貫性を持つ報酬成分は、より長く、より対話的な会話につながるか。
• RQ3 二エージェント対話シミュレーションフレームワークは、従来のアプローチよりも多様で持続的な応答を生み出すか。
• RQ4 相互情報量での初期化とカリキュラム学習がRL性能に与える影響は何か。
• RQ5 自動評価と人間評価は、長期対話品質の改善をどのように反映するか。

主な発見

• RLモデルはSeq2Seqおよび相互情報量ベースの基準より長い対話をシミュレートする。
• RL生成の応答はより対話的で、質問で終わる傾向があり、ターンの取り合いを促進する。
• 人間の判断で多ターン品質を向上させ、基準と比較して回答のしやすさを高める。
• 生成される返信の多様性は、標準のSeq2Seqおよび相互情報量モデルよりRLフレームワークで高い。
• 相互情報量の初期化とRLの組み合わせが、対話の持続性において最も良い性能をもたらす。
• BLEUと困惑度は長期対話の成功と相関しない。RLはこれらの指標で捉えられない利点を示す。