[論文レビュー] Iterative Policy Learning in End-to-End Trainable Task-Oriented Neural Dialog Models

Bing Liu, Ian Lane|arXiv (Cornell University)|Sep 18, 2017

Speech and dialogue systems参考文献 22被引用数 14

ひとこと要約

本論文は、タスク指向対話エージェントとニューラルユーザーサイミュレータを一括して最適化するエンドツーエンドのジョイントディープ強化学習（RL）フレームワークを提案する。手動で設計されたユーザーサイミュレータの必要性を排除する。シミュレートされた対話相互作用を通じて両エージェントを共同で訓練することで、64.7%のタスク成功率を達成し、教師あり微調整（35.3%）および単一エージェントRLベースラインを著しく上回った。

ABSTRACT

In this paper, we present a deep reinforcement learning (RL) framework for iterative dialog policy optimization in end-to-end task-oriented dialog systems. Popular approaches in learning dialog policy with RL include letting a dialog agent to learn against a user simulator. Building a reliable user simulator, however, is not trivial, often as difficult as building a good dialog agent. We address this challenge by jointly optimizing the dialog agent and the user simulator with deep RL by simulating dialogs between the two agents. We first bootstrap a basic dialog agent and a basic user simulator by learning directly from dialog corpora with supervised training. We then improve them further by letting the two agents to conduct task-oriented dialogs and iteratively optimizing their policies with deep RL. Both the dialog agent and the user simulator are designed with neural network models that can be trained end-to-end. Our experiment results show that the proposed method leads to promising improvements on task success rate and total task reward comparing to supervised training and single-agent RL training baseline models.

研究の動機と目的

• 強化学習に基づく対話ポリシー学習における信頼性が低いか、設計が難しいユーザーサイミュレータの課題に対処すること。
• 教師あり学習ベースラインを上回る、より高いロバストネスと一般化性能を実現すること。
• ルールベースまたはエキスパート設計のサイミュレータに依存せずに、ディープRLを用いて対話エージェントとユーザーサイミュレータの両方をエンドツーエンドでトレーニング可能にすること。
• 単一エージェントのトレーニングと比較して、両エージェントのポリシー最適化がより効率的かつ効果的な対話戦略をもたらすことを示すこと。

提案手法

• 対話コーパスを用いた教師あり学習により、初期の対話エージェントとユーザーサイミュレータを構築する。
• 両エージェントを、それらの間のタスク指向対話相互作用をシミュレートすることで、ディープRLを用いて共同でトレーニングする。
• ポリシー最適化アルゴリズムとしてA2CとREINFORCEを用い、非定常性を低減するための反復的更新サイクルを導入する。
• 対話エージェントのポリシーネットワークを教師あり学習の重みで初期化し、ユーザーサイミュレータのポリシーをランダム初期化する。
• 対話ターンごとに対話状態追跡を明示的にモデル化することで、ロバストネスと成功確率の向上を図る。
• 確率分布を用いてユーザーサイミュレータのポリシーネットワークから行動をサンプリングし、多様で整合性のあるユーザービヘイビアを促進する。

実験結果

リサーチクエスチョン

• RQ1 対話エージェントとユーザーサイミュレータのジョイント強化学習は、単一エージェントRLや教師あり微調整と比較して、タスク成功率を向上させることができるか？
• RQ2 RLを用いてトレーニングされたデータ駆動型エンドツーエンドニューラルユーザーサイミュレータは、ルールベースまたはエキスパート設計のサイミュレータを上回るポリシー学習性能を示すか？
• RQ3 反復的共同トレーニングは、平均ターン数で測定される対話効率および報酬蓄積にどのような影響を与えるか？
• RQ4 強化学習アルゴリズムの選択（例：A2C対REINFORCE）が、共同最適化されたエージェントのパフォーマンスに与える影響は何か？
• RQ5 ジョイントトレーニングはトレーニングデータへの過学習を軽減し、未観測の対話シナリオへの一般化を向上させるか？

主な発見

• ジョイントRLトレーニング手法は64.7%のタスク成功率を達成し、教師あり学習ベースライン（35.3%）および単一エージェントRLモデル（50.2–50.6%）を著しく上回った。
• A2C-jointモデルは最高のタスク成功率（64.7%）と低い平均成功対話長（5.12ターン）を達成し、より効率的なポリシー学習を示した。
• 共同トレーニングされたモデルは、成功した対話の平均対話長を短縮しており、戦略の効率性と整合性の向上を示唆している。
• REINFORCE-jointモデルは最高の平均報酬（3.30）を達成し、失敗した対話におけるパフォーマンスが優れていた。これは、より探索的行動を取ったためと考えられる。
• A2C-jointモデルはREINFORCE-jointモデルに比べて報酬でわずかなパフォーマンス低下を示したが、これは鋭い行動分布が最適でない状態遷移を引き起こした可能性がある。
• 結果から、両エージェントの共同最適化が、RLで対話エージェントのみをトレーニングする場合よりも優れた一般化性能とロバストネスをもたらすことが示された。