[論文レビュー] Show Us the Way: Learning to Manage Dialog from Demonstrations

Gabriel Gordon-Hall, Philip John Gorinski+2 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 41被引用数 11

ひとこと要約

本論文では、マルチドメインのタスク指向対話システムにおける対話管理方策の学習に、Deep Q-Learning from Demonstrations (DQfD) を用いた強化学習アプローチを提案する。ルールベースまたはデータ駆動型のエキスパートのデモンストレーションを活用することで、ConvLab環境における報酬のスパarsityと高次元の状態・行動空間の課題を克服し、教師あり学習および標準的な強化学習ベースラインを上回る優れた性能を達成した。DQfDエージェントは一部の指標においてエキスパートを上回ることすら達成した。

ABSTRACT

We present our submission to the End-to-End Multi-Domain Dialog Challenge Track of the Eighth Dialog System Technology Challenge. Our proposed dialog system adopts a pipeline architecture, with distinct components for Natural Language Understanding, Dialog State Tracking, Dialog Management and Natural Language Generation. At the core of our system is a reinforcement learning algorithm which uses Deep Q-learning from Demonstrations to learn a dialog policy with the help of expert examples. We find that demonstrations are essential to training an accurate dialog policy where both state and action spaces are large. Evaluation of our Dialog Management component shows that our approach is effective - beating supervised and reinforcement learning baselines.

研究の動機と目的

• マルチドメインのタスク指向対話システムに一般的に見られる大規模でスパarsityな状態・行動空間における有効な対話方策の学習という課題に対処すること。
• エキスパートのデモンストレーションが、対話管理の強化学習における方策学習の加速と向上に寄与するかどうかを調査すること。
• DQfDの有効性を、複雑で高次元の状態および行動空間を持つ実世界の対話ベンチマーク（ConvLab）で評価すること。
• ルールベースのエキスパートとデータ駆動型エキスパートで学習したDQfDの性能を比較し、エキスパートの品質に対するロバストネスを評価すること。
• NLU/NLGの誤りが連鎖的に発生する原因となるエンドツーエンド対話システムにおける失敗モードを特定し、その緩和戦略を提案すること。

提案手法

• エキスパートの軌道を用いて探索と方策学習をガイドするよう、対話分野に適応したDeep Q-Learning from Demonstrations (DQfD) を採用した。
• 経験再生と優先順位付き経験サンプリングを用いて、学習の安定化を図りながら、DQfDを用いて対話管理方策を学習した。
• ルールベースとデータ駆動型（VMLE）の両方のエキスパートデモンストレーションを用いてDQfDエージェントを学習させ、模倣からエキスパートを上回る性能を達成した。
• NLU、DST、DM、NLGの各モジュールを分離したパイプラインアーキテクチャを採用し、DQfDによるDMモジュールの改善に焦点を当てた。
• 100エピソードのテストエピソードにおいて、成功確率、予約率、スロットF1スコアを測定することで、ConvLabのユーザーサイミュレータを用いてシステムを評価した。
• NLU/NLGの不整合とその対話状態追跡への影響を検討することで、エンドツーエンド対話システムにおける誤り伝搬を分析した。

実験結果

リサーチクエスチョン

• RQ1 ConvLabのような高次元で報酬がスパarsityな環境において、DQfDは対話方策を効果的に学習できるか？
• RQ2 対話管理における標準的なディープQラーニングと比較して、エキスパートデモンストレーションを用いることで、サンプル効率と最終的な性能が顕著に向上するか？
• RQ3 エキスパートデモンストレーションの品質が、DQfDで学習したエージェントの性能にどのように影響するか？
• RQ4 エンドツーエンド評価ではなぜ性能がDA-to-DA評価よりも低下するのか、誤り伝搬の原因は何か？
• RQ5 弱いデータ駆動型エキスパートで学習したDQfDエージェントは、エキスパート自体を上回ることができるか、その条件は何か？

主な発見

• ルールベースのデモンストレーションで学習したDQfDエージェントは、正確性（86.92% vs. 86.00%）と予約率（75.23% vs. 74.00%）で完全にルールベースのシステムを上回り、エキスパートの行動を越えた方策の改善が示された。
• より弱いデータ駆動型のVMLEエキスパートで学習したDQfDエージェントは、エキスパート自身（50.00% と 62.27%）を上回る成功確率（53.00%）と予約率（69.71%）を達成し、DQfDがエキスパートの性能を上回ることを示した。
• 標準的なDQNは報酬のスパarsityと高次元の状態・行動空間のため、有効な方策を学習できず、成功確率42.00%、予約率49.33%にとどまった。
• エンドツーエンド評価ではDA-to-DA評価と比較して性能が著しく低下し、最高のルールベースシステムのゴール満足率は100%から50%の成功確率に低下した。これはNLU/NLGの誤り伝搬が原因であった。
• ルールベースのデモンストレーションで学習したDQfDエージェントは、エンドツーエンド評価で63.67%の成功確率と69.71%の予約率を達成し、DQNベースラインを上回り、システムレベルの誤りに対してもロバストであることが示された。
• 誤り分析から、特に確認の失敗や発話認識の誤りによるNLU/NLGの不整合が、連鎖的な状態追跡誤りを引き起こす原因であることが判明し、より信頼性の高いNLUおよびNLGモジュールの必要性が強調された。