[論文レビュー] Are Current Task-oriented Dialogue Systems Able to Satisfy Impolite Users?

Zhiqiang Hu, Roy Kaa-Wei Lee+1 more|arXiv (Cornell University)|Oct 24, 2022

AI in Service Interactions被引用数 4

ひとこと要約

本稿では、不遅いユーザーとの対話におけるタスク指向対話（TOD）システムのロバスト性を調査し、MultiWOZ 2.2の10,000発話から書き直して大規模な不遅い対話コーパスを構築した。実験の結果、既存のTODシステムは不遅いユーザーに対処するのに効果的でないことが判明したが、テキストスタイル変換に基づくデータ拡張法により性能が向上し、よりロバストで不遅いユーザーに配慮した対話システムの必要性が浮き彫りになった。

ABSTRACT

Task-oriented dialogue (TOD) systems have assisted users on many tasks, including ticket booking and service inquiries. While existing TOD systems have shown promising performance in serving customer needs, these systems mostly assume that users would interact with the dialogue agent politely. This assumption is unrealistic as impatient or frustrated customers may also interact with TOD systems impolitely. This paper aims to address this research gap by investigating impolite users' effects on TOD systems. Specifically, we constructed an impolite dialogue corpus and conducted extensive experiments to evaluate the state-of-the-art TOD systems on our impolite dialogue corpus. Our experimental results show that existing TOD systems are unable to handle impolite user utterances. We also present a data augmentation method to improve TOD performance in impolite dialogues. Nevertheless, handling impolite dialogues remains a very challenging research task. We hope by releasing the impolite dialogue corpus and establishing the benchmark evaluations, more researchers are encouraged to investigate this new challenging research task.

研究の動機と目的

• タスク指向対話システムが、高ストレスや怒りの状況下で不遅いユーザーに対処する方法に関する研究が不足しているという問題に対処すること。
• 最先端のTODシステムが不遅いユーザー発話に直面した際の性能低下を調査すること。
• ベンチマーク評価を可能にするために、現実的で多様性があり大規模な不遅い対話コーパスを構築すること。
• 不遅いユーザー入力に対処する際のTODシステムのロバスト性を向上させるデータ拡張技術を検討すること。
• 不遅いユーザーへの配慮を示す、より耐性のあるTODシステムの構築を今後の研究に促すこと。

提案手法

• ロールプレイのシナリオを用いて、MultiWOZ 2.2データセットの10,000件のユーザー発話を手動で書き直し、不遅い対話コーパスを構築した。
• 人間のアノテーターを用いて、特定の感情状態（例：イライラ、緊急感）の下で発話を書き直し、多様で自然な不遅い表現を生成した。
• 文の埋め込みを用いたポリテンススコアリングと意味的類似度計算を含む統計的・言語的分析をコーパスに対して実施した。
• 標準的な自動評価指標（例：ジョイントゴール精度、スロットF1）を用いて、6つの最先端TODシステム（例：PPTOD）を不遅いコーパス上で評価した。
• 親切な訓練データから不遅い発話を合成生成するため、テキストスタイル変換を用いたデータ拡張法を提案した。
• 拡張データでTODモデルをファインチューニングし、不遅いユーザー入力への対処能力の向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端タスク指向対話システムは、不遅いユーザーと対話した際にどの程度の性能を示すのか？
• RQ2 現在のTODシステムが困難に感じる不遅いユーザー発話の言語的・意味的特徴は何か？
• RQ3 ユーザー発話のポリテンス度がTODシステムの性能低下と相関しているか？
• RQ4 テキストスタイル変換によるデータ拡張は、不遅いユーザー入力へのTODシステムのロバスト性を向上させられるか？
• RQ5 元の発話と書き直し発話の意味的類似度が、不遅い対話シナリオにおけるシステム性能に与える影響は何か？

主な発見

• PPTODを含む既存の最先端TODシステムは、不遅いユーザー発話を処理する際、顕著な性能低下を示し、ジョイントゴール精度が著しく低下した。
• 性能低下は最も攻撃的な発話よりも、やや不遅いが鋭い表現（例：皮肉、皮肉めいた皮肉）に対して顕著であり、これはより言語的に複雑な表現であるためである。
• 元の発話と類似度が低い不遅い対話では、システムの性能が著しく低下しており、これは、言い換えや構造の再編以外の一般化に困難を示していることを示している。
• 提案されたテキストスタイル変換に基づくデータ拡張法は、不遅い対話におけるTODシステムの性能を向上させ、ロバスト性向上の可能性を示した。
• 構築された不遅い対話コーパスは、皮肉、緊急感、感情の爆発といった多様な不遅い表現パターンを明らかにしたが、これらを現在のシステムは正しく解釈できていない。
• 極めて不遅いユーザー（例：攻撃的言葉を用いる）に対しても、一部のシステムは部分的に正しい応答を提供していたことから、極端な不遅さは、繊細で鋭い不遅い表現ほどシステムに与える影響は小さいことが示唆された。