[論文レビュー] A Deep Reinforcement Learning Chatbot (Short Version)

Iulian Vlad Serban, Chinnadhurai Sankar+16 more|arXiv (Cornell University)|Jan 20, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 14

ひとこと要約

本論文では、MILAが開発したAmazon Alexa Prize向けの深層強化学習チャットボット、MILABOTを紹介する。このシステムは、ニューラルモデルとテンプレートベースの応答モデルのアンサンブルに加え、最適な応答を選択する学習済みポリシーを統合している。システムは平均3.15のユーザー評価（全チーム平均の2.92を上回る）を達成し、会話あたり14.5～16.0ターンの継続的対話を実現した。これは、実際のユーザー対話データとクラウドソーシングによるフィードバックを用いた非政策的強化学習により、関与度と一貫性が向上した結果、他を大きく上回った。

ABSTRACT

We present MILABOT: a deep reinforcement learning chatbot developed by the Montreal Institute for Learning Algorithms (MILA) for the Amazon Alexa Prize competition. MILABOT is capable of conversing with humans on popular small talk topics through both speech and text. The system consists of an ensemble of natural language generation and retrieval models, including neural network and template-based models. By applying reinforcement learning to crowdsourced data and real-world user interactions, the system has been trained to select an appropriate response from the models in its ensemble. The system has been evaluated through A/B testing with real-world users, where it performed significantly better than other systems. The results highlight the potential of coupling ensemble systems with deep reinforcement learning as a fruitful path for developing real-world, open-domain conversational agents.

研究の動機と目的

• 多様なトピックについて持続的かつ人間らしい対話を実現できるスケーラブルなオープンドメイン会話エージェントの開発。
• すべてのシステムモジュールを機械学習で訓練することで、手作業によるルール依存を低減すること。
• 実際のユーザー対話データに基づく強化学習を用いて、オープンドメイン対話における応答選択を改善すること。
• 実世界のA/Bテストにおいて、ベースラインシステムと比較してより高いユーザー関与度と満足度を達成すること。
• アンサンブルモデルと非政策的深層強化学習の組み合わせが、会話システムに効果的であることを示すこと。

提案手法

• システムは、深層ニューラルネットワークとテンプレートベースのシステムを含む、検索型および生成型モデルのアンサンブルを用いて、多様な候補応答を生成する。
• 会話マネージャは、学習済みポリシーを用いて応答を選択し、たとえば「お名前は何ですか？」のような優先応答は明示的に処理する。
• 実際のユーザー対話データとクラウドソーシングによるフィードバックを用いて、非政策的深層強化学習を応答選択の最適化に適用する。
• 価値関数とポリシー勾配法を用いてポリシーを訓練し、サンプル効率性と一般化性能を向上させるための新規なモデルベースの手続きを導入する。
• ASRの信頼度スコアと会話履歴を入力として活用し、応答選択を支援する。
• 実際のAlexaユーザーを対象としたA/Bテストにより、1～5段階のユーザー指定評価を用いてポリシーのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 多様なNLPモデルのアンサンブルに加え強化学習を組み合わせることで、ルールベースまたは単一モデルの会話システムを上回る性能を達成できるか？
• RQ2 非政策的深層強化学習は、オンポリシーまたはヒューリスティック手法と比較して、会話ポリシーの一般化性能とユーザー関与度を向上させるか？
• RQ3 ユーザー評価などのシミュレーテッドまたは間接的フィードバックに基づいて訓練されたポリシーは、実世界の会話性能をどの程度向上させられるか？
• RQ4 ポリシーネットワークにインダクティブバイアスを統合することで、多様なトピックにわたる一般化能力にどのような影響を与えるか？
• RQ5 手作業によるルールを最小限に抑えたシステムは、ベースラインシステムと比較して、より高いユーザー満足度とより長い会話が可能になるか？

主な発見

• 最良のシステムは、1～5段階のスケールで平均3.15のユーザー評価を達成し、コンペティション平均の2.92を顕著に上回った。
• 会話あたり平均14.5～16.0ターンの対話を維持し、コンペティション平均の11ターンを大幅に上回った。
• 非政策的REINFORCEポリシーは、他のチームと比較して会話長を70％以上延長し、ユーザー関与度の向上を示した。
• Q-学習AMT応答は、他のポリシーと比較して、トピックの一貫性（ユーザー入力との語の重複率11.28）と意味的豊かさ（1.98個の名詞句）が高かった。
• 非政策的強化学習アプローチは優れた一般化性能を示し、限られたラベル付きデータでも高いパフォーマンスを維持できた。
• 学習済みポリシー選択を用いたアンサンブルアプローチは、Evibot + Alicebotのようなヒューリスティックベースラインと比較して、ユーザー満足度と会話長の両面で優れた性能を示した。