[論文レビュー] AgentGraph: Towards Universal Dialogue Management with Structured Deep Reinforcement Learning

Lu Chen, Zhi Chen+4 more|arXiv (Cornell University)|May 27, 2019

Speech and dialogue systems参考文献 51被引用数 7

ひとこと要約

本稿では、普遍的対話管理のためのグラフニューラルネットワーク（GNN）ベースの構造的深層強化学習フレームワーク、AgentGraphを提案する。対話ドメインをスロット依存およびスロット非依存のエージェントが局所的に通信するグラフとしてモデル化することで、AgentGraphはサンプル効率の高い学習とドメイン間での高速な方策転送を可能にし、PyDialベンチマークにおいて従来のDRL手法を上回り、ノイズおよびドメインシフトに対しても高い適応性を示す。

ABSTRACT

Dialogue policy plays an important role in task-oriented spoken dialogue systems. It determines how to respond to users. The recently proposed deep reinforcement learning (DRL) approaches have been used for policy optimization. However, these deep models are still challenging for two reasons: 1) Many DRL-based policies are not sample-efficient. 2) Most models don't have the capability of policy transfer between different domains. In this paper, we propose a universal framework, AgentGraph, to tackle these two problems. The proposed AgentGraph is the combination of GNN-based architecture and DRL-based algorithm. It can be regarded as one of the multi-agent reinforcement learning approaches. Each agent corresponds to a node in a graph, which is defined according to the dialogue domain ontology. When making a decision, each agent can communicate with its neighbors on the graph. Under AgentGraph framework, we further propose Dual GNN-based dialogue policy, which implicitly decomposes the decision in each turn into a high-level global decision and a low-level local decision. Experiments show that AgentGraph models significantly outperform traditional reinforcement learning approaches on most of the 18 tasks of the PyDial benchmark. Moreover, when transferred from the source task to a target task, these models not only have acceptable initial performance but also converge much faster on the target task.

研究の動機と目的

• 既存の深層強化学習（DRL）ベースの対話方策における低いサンプル効率性と転送性の欠如を解決すること。
• 新規ドメインに完全に再訓練することなく、対話方策の迅速な適応を可能にすること。
• 構造的でマルチエージェント強化学習を用いることで、複雑で現実的な対話システムにおける学習速度とパフォーマンスの向上を図ること。
• グラフ構造とエージェント間通信が対話方策最適化に果たす役割を調査すること。
• 多様な対話ドメイン間で効果的なゼロショットおよびフェイシング転送学習を可能にすること。

提案手法

• AgentGraphは、対話ドメインを有向グラフとしてモデル化し、ノードは対話スロット（Sノード）とドメインレベルの状態（Iノード）を表し、構造的かつ階層的な方策アーキテクチャを形成する。
• 各ノードは同じタイプのノード間でパラメータを共有するサブエージェントとして機能し、パラメータ効率性と高速な学習を実現する。
• エージェントはグラフ上の隣接ノードとのメッセージパッシングにより通信し、意思決定時に文脈的かつ関係的推論を可能にする。
• デュアルGNNベースの方策は、階層的GNN層を通じて、各ターンの意思決定を高レベルのグローバルアクションと低レベルのローカルアクションに暗黙的に分解する。
• フレームワークは、ソースドメインからの事前学習済みパラメータを用いて新しいドメインの方策を初期化することで、転送学習を支援する。特に、共有されたIエージェントおよびSエージェントの重みを活用する。
• DQNベースの深層強化学習とGNNを統合し、経験リプレイとターゲットネットワークを用いたエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのマルチエージェント強化学習フレームワークは、標準的なDRLと比較して、対話方策学習におけるサンプル効率性を向上させることができるか？
• RQ2 AgentGraphは、異なるオントロジーを持つターゲットドメインに、ソースドメインから方策を転送する際、どの程度効果的か？
• RQ3 グラフ構造とエージェント間通信は、ノイズが多いまたは変化する環境下でも、方策パフォーマンスと適応性を向上させるか？
• RQ4 意思決定の階層的分解（グローバル対ローカル）は、複雑な対話タスクにおける方策最適化をどの程度改善するか？
• RQ5 AgentGraphは、新規対話ドメインにおけるコールドスタート状況で、高速な収束と十分な初期パフォーマンスを達成できるか？

主な発見

• AgentGraphモデルは、PyDialベンチマークの18タスク中16タスクで従来のDRLベースラインを著しく上回り、特に複雑なタスクで大きな向上を示した。
• ソースドメイン（SFR）からターゲットドメイン（CRおよびLAP）に方策を転送した場合、両方のターゲットドメインで初期成功率が75%以上に達し、強力なゼロショット転送能力を示した。
• 転送後、ターゲットタスクでは500対話未満で収束したため、ファインチューニングが高速で、サンプル複雑性が低減した。
• ASRエラー率が0%、15%、30%のさまざまなレベルに対しても、フレームワークは安定したパフォーマンスを維持し、耐障害性を示した。
• SエージェントとIエージェント間のメッセージパッシングが、Sエージェント同士の通信のみよりもパフォーマンス向上に重要であることが示され、グローバル状態統合の重要性が強調された。
• デュアルGNNベースの方策は、標準的なGNNバージョンよりも優れたパフォーマンスを達成した。これは、階層的意思決定分解の利点を裏付けた。