[論文レビュー] A Deep Reinforcement Learning Chatbot

Iulian Vlad Serban, Chinnadhurai Sankar+16 more|arXiv (Cornell University)|Sep 7, 2017

Topic Modeling参考文献 63被引用数 199

ひとこと要約

MILABOT は、生成モデルと検索モデルのアンサンブルとして構築された深層強化学習チャットボットであり、クラウドソーシングと実ユーザデータを用いて訓練され、実ユーザを用いた評価で高いエンゲージメントと性能を示した。

ABSTRACT

We present MILABOT: a deep reinforcement learning chatbot developed by the Montreal Institute for Learning Algorithms (MILA) for the Amazon Alexa Prize competition. MILABOT is capable of conversing with humans on popular small talk topics through both speech and text. The system consists of an ensemble of natural language generation and retrieval models, including template-based models, bag-of-words models, sequence-to-sequence neural network and latent variable neural network models. By applying reinforcement learning to crowdsourced data and real-world user interactions, the system has been trained to select an appropriate response from the models in its ensemble. The system has been evaluated through A/B testing with real-world users, where it performed significantly better than many competing systems. Due to its machine learning architecture, the system is likely to improve with additional data.

研究の動機と目的

• エンドツーエンドの機械学習駆動アーキテクチャを通じて、人気トピックに関するオープンドメインの対話が可能なソーシャルボットを開発する。
• 候補応答を生成するために、生成、検索、テンプレート、QA を含む多様な応答モデルのアンサンブルを構築して候補応答を生成する。
• ユーザーの相互作用に基づいて、アンサンブルから適切な応答を選択するために強化学習を適用する。
• 実ユーザーを用いた Amazon Alexa Prize の設定でシステムを評価し、競合システムと比較したエンゲージメントと品質を測定する。
• 追加データによるスケーラビリティと潜在的な改善を示す。

提案手法

• テンプレートベース、リトリーバルベース、およびニューラル生成モデルを含む22個の応答モデルのアンサンブルを構築する。
• 候補を生成し、優先ルールを適用し、次にモデル選択ポリシーで選択するという3段階の対話マネージャを使用する。
• クラウドソーシングラベルと実ユーザーの相互作用を用いて、マルコフ決定過程（MDP）として枠組み化した強化学習で応答選択ポリシーを訓練する。
• VHRED、SkipThought、Dual Encoders、GRU ベースの生成モデルなど、さまざまな検索・生成手法を取り入れる。
• Alexa Prize 競技中に実ユーザーを対象として、複数のRLベースのポリシー学習アプローチを評価する。
• 大規模なクラウドソーシング（約 $200,000$ ラベル）と広範な GPU インフラストラクチャを活用してシステムを訓練・実行する。

実験結果

リサーチクエスチョン

• RQ1 多様な応答モデルのアンサンブルをいかに調整して、一貫性があり魅力的なオープンドメイン対話を生み出すことができるか？
• RQ2 現実世界の対話において、長期的なユーザー満足度を最大化するために、応答の選択を強化学習で効果的に最適化できるか？
• RQ3 実ユーザデータとクラウドソーシングラベルの使用が、A/B テストにおけるソーシャルチャットボットの性能に与える影響は何か？
• RQ4 Alexa Prize 準決勝において、ユーザー満足度と対話長さの観点で MILABOT は競合システムとどのように比較されるか？

主な発見

• 準決勝で最も高いパフォーマンスを示したシステムは、1-5スケールで平均3.15というユーザー評価を達成した。
• 最良のシステムは対話あたり平均14.5-16.0ターンを記録し、競合チームよりも高かった。
• 実ユーザーを対象としたA/Bテストで、他の多くの競合システムより有意な改善を示した。
• ほとんどのコンポーネントは学習可能であり、追加データによりシステムが向上する可能性を示している。
• このアプローチは、手作りの状態やルールを最小限に抑えつつ、強いエンゲージメントを達成した。