[論文レビュー] Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access

Bhuwan Dhingra, Lihong Li+5 more|arXiv (Cornell University)|Sep 3, 2016

Topic Modeling参考文献 34被引用数 36

ひとこと要約

本稿では、対話エージェントにおけるエンドツーエンド強化学習のための記号的データベースクエリに代わる微分可能で確率的なソフト-KB検索メカニズムを提案する。これにより、完全な微分可能性とオンライン学習が可能になる。このアプローチは、記号的メソッドよりも高いタスク成功確率と報酬を達成しており、実際のユーザーに対して過学習を示しながらも、強力な学習能力を示すエンドツーエンドエージェントを実現している。

ABSTRACT

This paper proposes KB-InfoBot -- a multi-turn dialogue agent which helps users search Knowledge Bases (KBs) without composing complicated queries. Such goal-oriented dialogue agents typically need to interact with an external database to access real-world knowledge. Previous systems achieved this by issuing a symbolic query to the KB to retrieve entries based on their attributes. However, such symbolic operations break the differentiability of the system and prevent end-to-end training of neural dialogue agents. In this paper, we address this limitation by replacing symbolic queries with an induced "soft" posterior distribution over the KB that indicates which entities the user is interested in. Integrating the soft retrieval process with a reinforcement learner leads to higher task success rate and reward in both simulations and against real users. We also present a fully neural end-to-end agent, trained entirely from user feedback, and discuss its application towards personalized dialogue agents. The source code is available at https://github.com/MiuLab/KB-InfoBot.

研究の動機と目的

• エンドツーエンド学習を妨げる非微分可能な記号的クエリの制限を解消すること。
• 知識ベース検索プロセスを微分可能にすることで、強化学習エージェントがユーザーのフィードバックから学習できるようにすること。
• 対話情報取得のための完全にニューラルでエンドツーエンドでトレーニング可能な対話エージェントを設計し、相互作用を通じて改善すること。
• 提案手法をシミュレータおよび実際のユーザー環境で評価し、記号的クエリベースラインと性能を比較すること。
• 長期的適応のための、頑健な事前学習エージェントとパーソナライズされたエンドツーエンド学習者を組み合わせたデプロイ戦略を検討すること。

提案手法

• エージェントがユーザー指定の属性について持つ信念に基づき、KBエントリに対するソフトな後方分布にハードな記号的KB検索を置き換える。
• 学習されたアテンションメカニズムを用いてKBエントリの上に微分可能関数としてソフト検索を構築し、検索プロセス中に勾配が流れることを可能にする。
• タスク成功度と対話効率に基づいて報酬を形状化し、強化学習を用いてエージェントの対話ポリシーをエンドツーエンドで訓練する。
• スケーラブルで再現性のある環境で、実ユーザーへのテストの前段階として、ユーザー・シミュレータを用いてエージェントの訓練と評価を行う。
• ユーザーのフィードバックのみを用いて信念トラッカー、ポリシー、自然言語生成を統合的にトレーニングするエンドツーエンドニューラルエージェントを実装する。
• NLGモジュールで温度スケーリングを適用し、ノイズの多い入力をシミュレートし、耐性と適応能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で確率的な検索メカニズムは、知識ベースアクセスのためのエンドツーエンド訓練における対話エージェントの性能を向上させることができるか？
• RQ2 タスク成功確率とサンプル効率の観点から、ソフト-KB検索は記号的（ハード-KB）検索と比べてどのように異なるか？
• RQ3 ユーザーのフィードバックのみでトレーニングされたエンドツーエンドニューラルエージェントは、過学習のリスクがある中でも効果的な対話ポリシーを学習できるか？
• RQ4 ノイズの多いまたは未知語の入力条件下でエージェントの性能はどのように低下するか？また、このような状況に適応できるか？
• RQ5 頑健な事前学習エージェントとパーソナライズされたエンドツーエンド学習者を組み合わせた実用的なデプロイ戦略は存在するか？

主な発見

• RL-Softエージェントは人間評価で74%の成功確率、シミュレータ評価で80%の成功確率を達成しており、過学習の影響が限定的であることが示された。
• Rule-SoftおよびRL-Softエージェントは、RL-Hardを上回る成功確率を示し、より少ない対話ターンで同じ成功確率を達成した。
• エンドツーエンド（E2E-Soft）エージェントはシミュレーションで80%を超える最高の成功確率を達成したが、シミュレータの限定的な語彙に過学習したため、実ユーザーでは低い性能を示した。
• E2Eエージェントは、他のエージェントと比較してノイズの多い入力（例：NLG出力の温度を高くした場合）に対してより優れた適応性を示し、優れた学習能力を示した。
• ソフト-KBフレームワークにより、完全なエンドツーエンド訓練が可能になり、強化学習者がKBからのより豊かで微分可能なフィードバックにより、より優れた対話ポリシーを発見できた。
• 提案されたデプロイ戦略（RL-Softから始めてE2Eでファインチューニング）は、パーソナライズ可能で適応可能な対話エージェントへの実用的アプローチを提供する。