[論文レビュー] Interacting with Non-Cooperative User: A New Paradigm for Proactive Dialogue Policy

Wenqiang Lei, Yao Zhang+6 more|arXiv (Cornell University)|Apr 7, 2022

Speech and dialogue systems被引用数 9

ひとこと要約

本稿では、非協力的状況下での対話的相互作用において、目的達成速度とユーザー満足度の動的バランスを図る、I-Proと呼ばれる予防的対話ポリシー枠組みを提案する。対話ターン、目的達成の難易度、ユーザー満足度、協力度を考慮した目的重みの学習を通じて、シミュレートされた非協力的ユーザーとの対話において深層Q学習を用いて、有効性と解釈可能性の両面でベースラインを上回る性能を発揮する。

ABSTRACT

Proactive dialogue system is able to lead the conversation to a goal topic and has advantaged potential in bargain, persuasion and negotiation. Current corpus-based learning manner limits its practical application in real-world scenarios. To this end, we contribute to advance the study of the proactive dialogue policy to a more natural and challenging setting, i.e., interacting dynamically with users. Further, we call attention to the non-cooperative user behavior -- the user talks about off-path topics when he/she is not satisfied with the previous topics introduced by the agent. We argue that the targets of reaching the goal topic quickly and maintaining a high user satisfaction are not always converge, because the topics close to the goal and the topics user preferred may not be the same. Towards this issue, we propose a new solution named I-Pro that can learn Proactive policy in the Interactive setting. Specifically, we learn the trade-off via a learned goal weight, which consists of four factors (dialogue turn, goal completion difficulty, user satisfaction estimation, and cooperative degree). The experimental results demonstrate I-Pro significantly outperforms baselines in terms of effectiveness and interpretability.

研究の動機と目的

• コーパスベースの学習の限界に対処する。具体的には、現実世界の動的相互作用をモデル化できない点に起因する。
• ユーザーが不満を抱えた際に経路外のトピックを導入するという非協力的ユーザー行動を、対話的予防的対話における主要な課題として同定し、それに対処する。
• リアルタイムで対話が行われる状況下において、迅速な目的達成と持続的なユーザー満足度の両方を最適化する予防的対話ポリシーを開発する。
• 達成目標の迅速化と高いユーザー参加度の両立という競合する目的の間で、動的にトレードオフを調整できる学習可能な目的重みメカニズムを導入する。
• ユーザー・シミュレータを用いたシミュレーションベースの訓練フレームワークを通じて、解釈可能で戦略的な対話ポリシー学習を可能にする。

提案手法

• 目的達成とユーザー満足度の両方をバランスさせる複合報酬関数を最適化するため、深層Q学習を用いて対話ポリシーを訓練する。
• 対話ターン、目的達成の難易度、ユーザー満足度推定値、協力度の4要因を組み合わせた、動的に調整可能な学習済みの目的重み（gw）を設計する。
• ユーザー満足度がしきい値未満に下がると、経路外のトピックを導入する非協力的行動をシミュレートするユーザー・シミュレータを構築する。
• 知識グラフ（KG）を用いてトピック遷移を根拠づけ、ポリシー学習中にトピック間の意味的関係を推論可能にする。
• ユーザーの逸脱に応じてリアルタイムでトピック選択を適応させる、シミュレートされた対話環境でエージェントを訓練および評価する。
• 会話の長さを罰する報酬形状化メカニズムを実装し、早期の目的達成を奨励するとともに、高いユーザー満足度スコアにも報酬を与える。

実験結果

リサーチクエスチョン

• RQ1 非協力的ユーザー行動が存在する状況下で、予防的対話ポリシーは、迅速な目的達成と持続的なユーザー満足度の両立をどのように効果的に実現できるか？
• RQ2 学習済みの目的重みメカニズムは、対話の異なる段階において、目的達成とユーザー満足度のトレードオフをどの程度動的に調整できるか？
• RQ3 対話的でシミュレーションベースの訓練は、コーパスベースの学習と比較して、予防的対話ポリシーのロバスト性と有効性を向上させられるか？
• RQ4 ユーザー協力度と満足度推定の組み込みが、ポリシーの性能と解釈可能性に与える影響は何か？
• RQ5 非協力的ユーザーによる経路外トピックの導入が、エージェントが目的トピックに効率的に到達する能力に与える影響は何か？

主な発見

• I-Proは、複数の評価指標において、3つの強力なベースラインを著しく上回り、目的達成率とユーザー満足度の両面で優れた性能を示した。
• 学習済みの目的重み（gw）により、I-Proは参加度が低い場合にはユーザー満足度を優先（例：gw₂ = 0.07）し、後続のターンで満足度が高い場合には迅速な目的達成へシフト（例：gw₁₅ = 0.55）する動的な適応が可能となった。
• I-Proは、非協力的かつ動的なユーザー行動が存在する中でも、ベースラインよりも高い平均ユーザー満足度スコアを達成しており、より良いユーザー参加度を示している。
• 非協力的ユーザーによる経路外トピックの導入に対しても、I-Proは遅延を最小限に抑えながらも、目的経路に的確に再ルーティングする能力を示した。
• 非協力的行動を再現するユーザー・シミュレータの使用により、より現実的で効果的なポリシー訓練が可能となり、対話的状況での一般化性能が向上した。
• 目的重みの明示的で要因に基づく設計により、I-Proは各対話ターンにおけるポリシー意思決定の解釈可能性が優れており、意思決定の背景を明確に示している。