[论文解读] Chat Detection in an Intelligent Assistant: Combining Task-oriented and Non-task-oriented Spoken Dialogue Systems

Satoshi Akasaki, Nobuhiro Kaji|arXiv (Cornell University)|May 2, 2017

Topic Modeling参考文献 32被引用 22

一句话总结

本文提出了一种混合智能助手的聊天检测系统，结合了面向任务的对话系统与非面向任务的对话系统。该研究构建了一个包含15,160条真实用户日志标注语句的新基准数据集，并通过引入外部资源——推文和网络搜索查询——增强监督分类，将F1得分从86.21提升至87.53。

ABSTRACT

Recently emerged intelligent assistants on smartphones and home electronics (e.g., Siri and Alexa) can be seen as novel hybrids of domain-specific task-oriented spoken dialogue systems and open-domain non-task-oriented ones. To realize such hybrid dialogue systems, this paper investigates determining whether or not a user is going to have a chat with the system. To address the lack of benchmark datasets for this task, we construct a new dataset consisting of 15; 160 utterances collected from the real log data of a commercial intelligent assistant (and will release the dataset to facilitate future research activity). In addition, we investigate using tweets and Web search queries for handling open-domain user utterances, which characterize the task of chat detection. Experiments demonstrated that, while simple supervised methods are effective, the use of the tweets and search queries further improves the F1-score from 86.21 to 87.53.

研究动机与目标

• 解决混合语音对话系统中聊天检测缺乏基准数据集的问题。
• 开发一种可靠的方法，以区分真实世界智能助手中用户语句的面向任务与非面向任务类型。
• 通过利用推文和网络搜索查询等外部未标注数据源，提升聊天检测性能。
• 通过公开发布数据集及衍生特征，促进未来研究。

提出的方法

• 从商业智能助手的日志数据中收集了15,160条真实用户语句，构建了一个新的基准数据集。
• 通过众包方式将每条语句标注为聊天（非面向任务）或非聊天（面向任务）。
• 使用支持向量机（SVM）与n-gram及词嵌入特征训练监督二分类器，用于聊天检测。
• 通过语言模型得分和嵌入相似性，引入来自推文和网络搜索查询的外部特征，增强分类器。
• 通过调整训练数据比例进行交叉验证，评估数据效率与模型泛化能力。
• 使用F1得分评估性能，并分析不同语句长度与数据规模下的准确率。

实验结果

研究问题

• RQ1 监督分类方法能否有效检测用户在混合智能助手中是否意图聊天或执行任务？
• RQ2 推文和网络搜索查询等外部未标注数据源在多大程度上能提升聊天检测性能？
• RQ3 聊天检测性能如何随语句长度和训练数据规模变化？
• RQ4 外部资源能否弥补开放域聊天检测中标注数据稀缺的问题？

主要发现

• 利用推文和网络搜索查询的所提方法将F1得分从86.21提升至87.53，显示出显著的性能提升。
• 即使仅使用25%的训练数据，引入外部资源的模型也能达到与完整数据基线相当的准确率。
• 性能提升在短语句（≤5个字符）中最为显著，外部特征提供了关键上下文信息。
• 在较长语句（≥15个字符）中，模型也保持了稳定的性能提升，表明对无关或噪声词汇具有鲁棒性。
• 学习曲线显示，外部资源显著降低了实现高准确率所需的数据量。
• 结果表明，外部资源在缓解开放域聊天检测任务中的数据稀缺问题方面具有显著效果。