[論文レビュー] End-to-End Task-Completion Neural Dialogue Systems

Xiujun Li, Yun-Nung Chen+3 more|arXiv (Cornell University)|Mar 3, 2017

Speech and dialogue systems参考文献 18被引用数 58

ひとこと要約

この論文は、強化学習で LU、DM、NLG を共同学習するタスク完遂のエンドツーエンドニューラル対話システムを提案し、映画チケット予約ドメインにおける LU エラーの頑健性を分析する。

ABSTRACT

One of the major drawbacks of modularized task-completion dialogue systems is that each module is trained individually, which presents several challenges. For example, downstream modules are affected by earlier modules, and the performance of the entire system is not robust to the accumulated errors. This paper presents a novel end-to-end learning framework for task-completion dialogue systems to tackle such issues. Our neural dialogue system can directly interact with a structured database to assist users in accessing information and accomplishing certain tasks. The reinforcement learning based dialogue manager offers robust capabilities to handle noises caused by other components of the dialogue system. Our experiments in a movie-ticket booking domain show that our end-to-end system not only outperforms modularized dialogue system baselines for both objective and subjective evaluation, but also is robust to noises as demonstrated by several systematic experiments with different error granularity and rates specific to the language understanding module.

研究の動機と目的

• モジュール間の誤差伝搬を減らすため、モジュール型からエンドツーエンドのタスク指向対話システムへ移行する動機づけ。
• タスクを完了するために構造化データベースと直接対話するエンドツーエンドのフレームワークを開発する。
• RLベースの対話管理の LU/NLG ノイズとエラーに対する頑健性を評価する。
• 言語理解エラー（意図とスロット）の影響がシステム性能に与える影響について洞察を提供する。

提案手法

• ユーザーの発話を取り込み、それを LU に通して意味フレームを形成し、状態追跡機とポリシー学習者を持つ DM を用いるエンドツーエンドのニューラル対話システムを提案する。
• LU における意図分類とスロット充填を共通の LSTM で実施する。
• システムアクションを選択する Deep Q-Network (DQN) としての強化学習ベースの対話マネージャを実装する。
• エンドツーエンドの学習を可能にするために、アジェンダベースのユーザーモデリングと NLG コンポーネント（テンプレートとモデルベース）を備えたユーザーシミュレータを組み込む。
• 異なるエラー種別とレートを可能にする LU ノイズを意図レベルとスロットレベルでシミュレートするエラーモデルを導入し、頑健性分析を行う。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの RL ベース対話システムは、タスク完了設定においてモジュールベースのベースラインと比較してどのように性能を発揮するか。
• RQ2 さまざまな LU エラー（意図レベルとスロットレベル）に対するエンドツーエンドシステムの頑健性はどの程度か、どのエラー種別が性能を最も低下させるか。
• RQ3 frame レベルでの訓練と自然言語での訓練設定において、異なる LU/NLG ノイズがシステムの成功と対話長に与える影響はどうなるか。
• RQ4 現実世界のタスクでの会話中にユーザー主導の柔軟なインタラクションをシステムは扱えるか。

主な発見

• エンドツーエンド RL エージェントは、ノイズ設定の下でルールベースのベースラインを上回り、成功率で優位を示す（例: increasing error rates の下で 90%、79%、76% など）。
• スロットレベルのエラーは意図レベルのエラーより性能に対してより大きな負の影響を与え、誤ったスロット値は特に破壊的である。
• RL エージェントはノイズのある意図に頑健で、ユーザーと再確認またはダブルチェックを学習することができるが、対話は長くなるコストがかかる。
• スロットのエラーレートが高くなるとシステム性能が劣化し、スロットレベルのノイズに対する感度が意図レベルノイズより高いことを示す。
• 人間の評価では、RL エージェントがルールベースのエージェントを客観的な成功と主観的ユーザ評価の両方で著しく上回る。