[论文解读] Are Current Task-oriented Dialogue Systems Able to Satisfy Impolite Users?

Zhiqiang Hu, Roy Kaa-Wei Lee+1 more|arXiv (Cornell University)|Oct 24, 2022

AI in Service Interactions被引用 4

一句话总结

本文研究了任务导向对话（TOD）系统在与无礼用户交互时的鲁棒性，通过重写 MultiWOZ 2.2 中的 10,000 条话语构建了一个大规模无礼对话语料库。实验表明，现有 TOD 系统在处理无礼用户时表现不佳，但基于文本风格迁移的数据增强方法显著提升了性能，凸显了开发更具鲁棒性、能应对无礼用户的对话系统的重要性。

ABSTRACT

Task-oriented dialogue (TOD) systems have assisted users on many tasks, including ticket booking and service inquiries. While existing TOD systems have shown promising performance in serving customer needs, these systems mostly assume that users would interact with the dialogue agent politely. This assumption is unrealistic as impatient or frustrated customers may also interact with TOD systems impolitely. This paper aims to address this research gap by investigating impolite users' effects on TOD systems. Specifically, we constructed an impolite dialogue corpus and conducted extensive experiments to evaluate the state-of-the-art TOD systems on our impolite dialogue corpus. Our experimental results show that existing TOD systems are unable to handle impolite user utterances. We also present a data augmentation method to improve TOD performance in impolite dialogues. Nevertheless, handling impolite dialogues remains a very challenging research task. We hope by releasing the impolite dialogue corpus and establishing the benchmark evaluations, more researchers are encouraged to investigate this new challenging research task.

研究动机与目标

• 为解决现有研究中关于任务导向对话系统如何应对无礼用户（尤其是在高压力或沮丧情境下）的不足。
• 探究最先进 TOD 系统在面对无礼用户话语时的性能退化现象。
• 构建一个真实、多样且大规模的无礼对话语料库，以支持在无礼条件下的 TOD 系统基准评估。
• 探索能够提升 TOD 系统在处理无礼用户输入时鲁棒性的数据增强技术。
• 激励未来研究，致力于构建在用户无礼情境下仍能保持性能的更稳健 TOD 系统。

提出的方法

• 通过角色扮演场景诱导无礼行为，人工重写 MultiWOZ 2.2 数据集中 10,000 条用户话语，构建无礼对话语料库。
• 使用人工标注者在特定情绪状态（如沮丧、紧迫感）下重写话语，生成多样且自然的无礼表达。
• 对语料库进行统计与语言学分析，包括使用句子嵌入计算礼貌程度评分与语义相似度。
• 使用标准自动指标（如联合目标准确率、槽位 F1）在无礼语料库上评估六种最先进 TOD 系统（如 PPTOD）。
• 提出一种基于文本风格迁移的数据增强方法，从礼貌训练数据中生成合成的无礼话语。
• 在增强数据上微调 TOD 模型，以评估其在处理无礼用户输入时的性能提升。

实验结果

研究问题

• RQ1 现有最先进任务导向对话系统在与无礼用户交互时表现如何？
• RQ2 挑战当前 TOD 系统的无礼用户话语在语言与语义上具有哪些特征？
• RQ3 用户话语的礼貌程度是否与 TOD 系统的性能下降相关？
• RQ4 通过文本风格迁移进行数据增强能否提升 TOD 系统对无礼用户输入的鲁棒性？
• RQ5 原始话语与重写话语之间的语义相似度如何影响系统在无礼对话场景中的表现？

主要发现

• 现有最先进 TOD 系统（包括 PPTOD）在处理无礼用户话语时表现出显著的性能下降，联合目标准确率大幅降低。
• 性能下降最严重的情况并非出现在最粗鲁的话语中，而是出现在中等程度无礼、尖锐刺耳的表达上，这些话语虽不明显冒犯，但语言结构更复杂。
• 系统在语义相似度较低的无礼对话中表现最差，表明其难以泛化至非同义重述或结构重组的话语。
• 所提出的基于文本风格迁移的数据增强方法显著提升了 TOD 系统在无礼对话中的表现，证明了其在增强鲁棒性方面的潜力。
• 构建的无礼对话语料库揭示了多种无礼表达模式，包括讽刺、紧迫感和情绪爆发，而当前系统无法正确理解这些表达。
• 即使用户极其无礼（如使用侮辱性语言），部分系统仍能提供部分正确的回应，表明极端粗鲁的言语对系统干扰较小，而微妙而尖锐的无礼更具破坏性。