[论文解读] Detecting Context Dependent Messages in a Conversational Environment

Chaozhuo Li, Yu Wu+4 more|arXiv (Cornell University)|Nov 2, 2016

Topic Modeling参考文献 22被引用 8

一句话总结

本文提出一种基于长短期记忆（LSTM）网络的深度学习方法，用于检测对话式人工智能中的上下文依赖性消息，利用响应特征（如响应长度、词分布熵）作为弱监督信号。该方法在微博和Twitter数据集上分别取得75.6%和73.4%的准确率，显著优于基线模型，证明LSTM能有效捕捉短文本、非正式消息中的语义线索，从而提升上下文感知型响应生成的效果。

ABSTRACT

While automatic response generation for building chatbot systems has drawn a lot of attention recently, there is limited understanding on when we need to consider the linguistic context of an input text in the generation process. The task is challenging, as messages in a conversational environment are short and informal, and evidence that can indicate a message is context dependent is scarce. After a study of social conversation data crawled from the web, we observed that some characteristics estimated from the responses of messages are discriminative for identifying context dependent messages. With the characteristics as weak supervision, we propose using a Long Short Term Memory (LSTM) network to learn a classifier. Our method carries out text representation and classifier learning in a unified framework. Experimental results show that the proposed method can significantly outperform baseline methods on accuracy of classification.

研究动机与目标

• 为解决开放域聊天机器人中在何时需要语言上下文以生成响应的理解不足问题。
• 识别上下文依赖性消息——即需要前序对话轮次才能正确响应的消息——与可独立存在的上下文无关消息。
• 开发一种弱监督方法，通过利用大规模社交媒体数据中的响应模式，避免昂贵的人工标注。
• 通过仅在必要时启用上下文感知能力，提升响应生成系统的效率与鲁棒性。
• 证明响应衍生统计量（如响应长度、词分布熵）是区分消息上下文依赖性的有效弱信号。

提出的方法

• 该方法使用响应统计量——平均响应长度、词分布熵和词分布最大质量——作为弱监督信号，训练分类器。
• 端到端训练一个长短期记忆（LSTM）网络，以学习消息的上下文表征，并将其分类为上下文依赖或上下文独立。
• LSTM模型通过记忆机制保留或遗忘信息，有效捕捉短文本、非正式消息中的序列依赖关系与语义模式。
• 模型采用统一框架进行训练，联合学习文本表征与分类任务，正则化使用Dropout（0.1）。
• 基线模型包括基于手工特征（如词袋、词性标注）训练的SVM，以及使用相同弱信号的回归/分类模型。
• 通过在验证数据上进行5折交叉验证，对超参数进行调优，包括SVM的C值和LSTM的维度（dw = dh = 256，ds = 100）。

实验结果

研究问题

• RQ1 响应统计量（如长度和词分布熵）是否能有效指示消息是否具有上下文依赖性？
• RQ2 端到端的LSTM模型是否能优于依赖浅层特征（如词袋或词性标注）的传统机器学习模型（如SVM）？
• RQ3 是否可行通过响应模式的弱监督信号，无需大规模人工标注，训练出上下文检测模型？
• RQ4 不同响应特征在短对话消息中与上下文依赖性的相关性如何？
• RQ5 深度学习模型是否能比浅层模型更好地捕捉非正式短消息中的语义线索？

主要发现

• 所提出的LSTM模型在微博测试集上达到75.6%的准确率，在Twitter测试集上达到73.4%，显著优于所有基线方法。
• 最佳基线模型SVM（分类）在微博上达到66.8%，在Twitter上达到65.4%；SVM（回归）在Twitter上达到68.3%，均被LSTM模型超越。
• 仅使用长度和MDF（最大分布质量）特征时效果较差，准确率低于63%，表明其在区分上下文依赖性方面判别能力有限。
• LSTM模型成功将消息'Yep, I have heard it on Saturday night'识别为上下文依赖，而SVM模型因依赖表面词汇（如'Saturday night'）错误地将其分类为上下文独立。
• 通过LSTM嵌入计算，'Yep, I have heard it on Saturday night'与'Yes, I have'之间的余弦相似度为0.63，证实其与已知上下文依赖响应在语义上具有相似性。
• 统计显著性检验（p < 0.01）表明，LSTM模型相较于最佳基线模型的性能提升并非偶然。