[论文解读] An Annotated Corpus of Relational Strategies in Customer Service

Ian Beaver, Cynthia Freeman+1 more|arXiv (Cornell University)|Aug 17, 2017

Customer Service Quality and Loyalty参考文献 15被引用 3

一句话总结

本论文介绍了首个公开可用的商业客服互动中关系性策略标注语料库，数据源自旅游与电信领域三个实际运行的智能虚拟助手（IVAs）。通过识别并分类非必要关系性语言（如问候、辩解、感谢与情绪宣泄），研究人员可提升 IVA 的意图理解能力，从而在意图检测过程中过滤此类语言后，实现更高的置信度与更优的响应质量。

ABSTRACT

We create and release the first publicly available commercial customer service corpus with annotated relational segments. Human-computer data from three live customer service Intelligent Virtual Agents (IVAs) in the domains of travel and telecommunications were collected, and reviewers marked all text that was deemed unnecessary to the determination of user intention. After merging the selections of multiple reviewers to create highlighted texts, a second round of annotation was done to determine the classes of language present in the highlighted sections such as the presence of Greetings, Backstory, Justification, Gratitude, Rants, or Emotions. This resulting corpus is a valuable resource for improving the quality and relational abilities of IVAs. As well as discussing the corpus itself, we compare the usage of such language in human-human interactions on TripAdvisor forums. We show that removal of this language from task-based inputs has a positive effect on IVA understanding by both an increase in confidence and improvement in responses, demonstrating the need for automated methods of its discovery.

研究动机与目标

• 解决客服互动中缺乏公开可用的关系性策略标注语料库的问题。
• 通过识别并分离非任务相关语言（如闲聊、辩解与情绪表达）来提升智能虚拟助手（IVAs）的意图理解能力。
• 通过区分主要任务意图与次要关系意图，实现对话系统中更优的多意图检测。
• 对比人类-人类互动（通过 TripAdvisor 获取）与人类-IVA 互动中关系性语言的使用情况，评估策略的可迁移性。
• 证明去除关系性语言可提升 IVA 置信度与响应质量，从而证明自动化检测方法的合理性。

提出的方法

• 从旅游与电信领域三个实际运行的 IVA 中收集真实客服互动数据。
• 使用基于网页的标注工具，由八名标注员标记出对确定用户意图不具关键性的文本片段。
• 通过共识阈值（至少两名标注员达成一致）合并标注结果，形成非必要片段的高亮区域。
• 开展第二轮标注，由研究者为每个高亮片段标注关系性策略类型（如：问候、感谢、情绪宣泄、辩解、情绪、背景故事）。
• 应用多意图检测技术，将主要任务意图视为核心目标，将关系性片段视为次要、非必要输入。
• 对比 IVA 互动与 TripAdvisor 论坛中人类撰写的帖子之间关系性语言的使用模式，评估其相似性与差异性。

实验结果

研究问题

• RQ1 用户在与 IVA 互动的客服场景中，如何使用诸如辩解、感谢或闲聊等关系性策略？
• RQ2 用户输入中关系性语言的存在在多大程度上会降低 IVA 的意图理解能力与响应质量？
• RQ3 能否从真实世界 IVA 互动中有效构建关系性策略标注语料库，以支持自然语言理解研究？
• RQ4 IVA 互动中关系性语言的使用模式与人类在类似平台（如 TripAdvisor）上的人际互动相比有何异同？
• RQ5 在面向任务的对话系统中，过滤关系性语言对 IVA 置信度与响应准确率有何影响？

主要发现

• 当未过滤时，诸如辩解、感谢与闲聊等关系性语言会显著降低 IVA 的置信度与响应质量。
• 去除非必要关系性片段后，Iva 意图检测的置信度与响应准确率得到可测量的提升。
• 该语料库包含 1,200 个标注的对话回合，共 3,400 个高亮的非必要片段，每个片段均标注有一种或多种关系性策略类型。
• 诸如‘背景故事’与‘辩解’等关系性策略在用户输入中频繁出现，即使与任务完成无关。
• TripAdvisor 用户在人际互动中也使用了类似的策略，表明人类与人-IVA 交互中存在共享的对话模式。
• 本研究证明，自动化检测关系性语言对于实现 IVA 系统中稳健的多意图检测至关重要。