[論文レビュー] Deep Reinforcement Learning for Multi-Domain Dialogue Systems

Heriberto Cuayáhuitl, Seunghak Yu+2 more|arXiv (Cornell University)|Nov 26, 2016

Speech and dialogue systems参考文献 23被引用数 31

ひとこと要約

本稿では、ドメイン固有のDQNと入力特徴の圧縮を用いることで、多ドメイン対話システムにおけるスケーラビリティを向上させる、NDQNと呼ばれるマルチエージェント深層強化学習フレームワークを提案する。実験の結果、標準DQNと比較して、性能に劣化を来さずに4倍以上の高速なポリシー学習が可能であることが示され、共同でレストランとホテルの対話タスクにおいて、効率性とスケーラビリティの向上が確認された。

ABSTRACT

Standard deep reinforcement learning methods such as Deep Q-Networks (DQN) for multiple tasks (domains) face scalability problems. We propose a method for multi-domain dialogue policy learning---termed NDQN, and apply it to an information-seeking spoken dialogue system in the domains of restaurants and hotels. Experimental results comparing DQN (baseline) versus NDQN (proposed) using simulations report that our proposed method exhibits better scalability and is promising for optimising the behaviour of multi-domain dialogue systems.

研究の動機と目的

• 大規模な状態行動空間を有する多ドメイン対話システムにおける、標準的なディープQネットワーク（DQN）のスケーラビリティ制限を克服すること。
• 手作業による対話状態特徴の設計を回避し、生でノイジーなテキストからエンドツーエンドのポリシー学習を可能にすること。
• 分割統治アプローチを用いて、多ドメインスプoken対話システムにおける訓練の効率性とスケーラビリティを向上させること。
• 状態空間のサイズを縮小してもポリシー性能を損なわずに、入力圧縮（脱語彙化）の有効性を評価すること。
• 現実世界の設定において、深層強化学習を用いて多ドメイン対話エージェントを訓練する可能性を実証すること。

提案手法

• 本手法は、ドメイン（例：レストラン、ホテルなど）ごとに専用のDQNエージェントを有するDQNのネットワーク（NDQN）を採用し、モジュール型でスケーラブルなポリシー学習を可能にする。
• 入力特徴は脱語彙化により圧縮される——具体的には、日付や場所などの特定のエンティティをプレースホルダーに置き換えることで、状態空間のサイズを縮小し、一般化性能を向上させる。
• 従来の対話状態トラッキングや特徴工学を回避し、生でノイジーなテキストを入力特徴として使用する。
• メタエージェントがドメイン固有エージェント間を調整し、ドメイン間の遷移を管理し、クロスドメインの要求に対応する。
• フレームワークは単一ターンのアクションと複合アクション（サブダイアログ）の両方をサポートしており、階層的なポリシー実行を可能にする。
• 訓練は、タスクの成功度と対話の効率性に基づくスパarsな報酬を用いた強化学習によって実施される。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントDQNフレームワーク（NDQN）は、多ドメイン対話システムにおいて、標準DQNよりもより効果的にスケーリング可能か？
• RQ2 脱語彙化による入力圧縮は、ポリシー性能を低下させることなく訓練時間を短縮できるか？
• RQ3 ノイジーな生テキストを入力特徴として効果的に使用でき、手作業による対話状態の設計を不要にすることができるか？
• RQ4 学習速度とタスク成功確率の観点から、NDQNアーキテクチャは標準DQNと比べてどのように異なるか？
• RQ5 ドメイン固有エージェントによるモジュール型ポリシー学習は、訓練の効率性とスケーラビリティをどの程度向上させるか？

主な発見

• 生のワードベース特徴を用いた場合、NDQNはDQNベースラインの平均訓練時間を28.57時間から6.21時間に短縮し、4.6倍の高速化を達成した。
• 入力圧縮を適用した場合、訓練時間はさらに6.05時間にまで短縮され、圧縮により性能を損なわずより速い学習が可能であることが示された。
• 脱語彙化された入力を用いることで、平均報酬やタスク成功確率に劣化が生じず、状態空間の複雑さが低下しても堅牢であることが確認された。
• 学習曲線では、入力圧縮を適用した場合を含め、すべてのドメインにおいてNDQNが平均報酬とタスク成功確率の継続的な向上を示した。
• 提案手法は優れたスケーラビリティを示し、複数のドメイン（レストランとホテル）において、収束が早く安定した性能を発揮した。
• 結果から、NDQNは複雑な現実世界の設定において、多ドメイン対話エージェントを深層強化学習で効果的に訓練するための有望なフレームワークであると示唆された。