[論文レビュー] Investigation of Language Understanding Impact for Reinforcement Learning Based Dialogue Systems

Xiujun Li, Yun-Nung Chen+3 more|arXiv (Cornell University)|Mar 21, 2017

Speech and dialogue systems参考文献 21被引用数 25

ひとこと要約

本研究は、強化学習（RL）ベースのタスク指向対話システムにおける自然言語理解（NLU）エラーの影響を調査する。体系的なユーザーシミュレーション実験を通じて、スロットレベルのエラー、特に不正なスロット値が、意図レベルのエラーよりもシステム性能を著しく低下させることを明らかにした。一方、RLエージェントは不確実な情報を確認することで学習し、ノイズが存在する中でも信頼性が向上するという柔軟性を示した。

ABSTRACT

Language understanding is a key component in a spoken dialogue system. In this paper, we investigate how the language understanding module influences the dialogue system performance by conducting a series of systematic experiments on a task-oriented neural dialogue system in a reinforcement learning based setting. The empirical study shows that among different types of language understanding errors, slot-level errors can have more impact on the overall performance of a dialogue system compared to intent-level errors. In addition, our experiments demonstrate that the reinforcement learning based dialogue system is able to learn when and what to confirm in order to achieve better performance and greater robustness.

研究の動機と目的

• 異なる種類のNLUエラーが強化学習ベースの対話システムのパフォーマンスに与える影響を体系的に分析すること。
• 意図レベルとスロットレベルのエラーが対話成功確率および効率に与える相対的影響を比較すること。
• ノイズの多いNLU出力を処理する際のRLベースの対話方策の耐障害性を評価すること。
• RLエージェントが確認戦略を用いてNLUエラーを軽減できるかどうかを調査すること。
• エンドツーエンドの対話システムにおけるより耐障害性の高いマルチタスクNLUモデルの設計に実証的知見を提供すること。

提案手法

• NLUエラーの種類と発生率を隔離・制御できるシミュレーテッドユーザ環境で実験を実施した。
• シミュレーテッドユーザとの相互作用を通じて訓練された強化学習ベースの対話方策を用いて、システムパフォーマンスを評価した。
• 他の要因を一定に保ちながら、意図エラーの種類（同カテゴリ、異カテゴリ、ランダム）と発生率（0%、10%、20%）を体系的に変化させた。
• 同様に、スロットエラーの種類（削除、誤った値、誤ったスロット名）と発生率（0%、10%、20%）を操作し、その影響を評価した。
• 成功確率と平均対話長を主な指標としてパフォーマンスを測定した。
• 制御可能で繰り返し可能な実験が可能となるユーザーシミュレーションフレームワークを用いて、対話方策の訓練と評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 同カテゴリ、異カテゴリ、ランダムな意図レベルエラーの種類が、RLベースの対話システムのパフォーマンスにどのように影響するか？
• RQ2 意図エラー発生率の上昇が、対話システムの成功確率および収束に与える影響は？
• RQ3 スロットレベルのエラー（例：削除、誤った値、誤ったスロット名）が意図レベルエラーに比べて及ぼす相対的影響は？
• RQ4 スロットエラー発生率の上昇が、システムパフォーマンスおよび対話効率に与える影響は？
• RQ5 RLベースの対話エージェントは、確認戦略を用いることでNLUエラーを補償できるか？

主な発見

• スロットレベルのエラー、特に誤ったスロット値が、意図レベルのエラーよりも対話システムのパフォーマンスに顕著に悪影響を及ぼす。
• スロットエラー発生率が0%から20%に上昇するに従い、対話エージェントの成功確率は著しく低下し、平均対話長も上昇した。
• 意図エラーの種類（同カテゴリ、異カテゴリ、ランダム）にはパフォーマンスへの影響に顕著な差がなく、意図エラーのパターンにかかわらず同程度の耐障害性を示した。
• 意図エラー発生率を0%から10%に引き上げた場合、パフォーマンスの低下はわずかにとどまり、RLエージェントが意図レベルのノイズに対して相対的に耐障害性を示していることが示された。
• RLベースの対話エージェントは、特にスロットエラー率が高い状況において、不確実な情報を確認する戦略を学習し、ノイズに適応する柔軟な耐障害性を示したが、対話がわずかに長くなった。
• 異なる意図エラー種別および発生率においても、成功確率に類似した水準を維持したため、現在の対話アクション表現において、意図レベルのエラーはスロットレベルのエラーほど深刻ではないことが示唆された。