[论文解读] Discovering Conversational Dependencies between Messages in Dialogs

Wenchao Du, Pascal Poupart+1 more|arXiv (Cornell University)|Dec 8, 2016

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

本文提出了一种概率分类器，用于推断一对一在线聊天中消息之间的对话依赖关系，利用语言学、词汇和语义特征（包括基于LDA的主题相似性）来建模消息的相关性。该方法优于基于规则的基线模型，准确率达到62.6%，F1值为58.8%，证明了其在应对不规则轮换和噪声文本的情况下识别语境相关消息对的有效性。

ABSTRACT

We investigate the task of inferring conversational dependencies between messages in one-on-one online chat, which has become one of the most popular forms of customer service. We propose a novel probabilistic classifier that leverages conversational, lexical and semantic information. The approach is evaluated empirically on a set of customer service chat logs from a Chinese e-commerce website. It outperforms heuristic baselines.

研究动机与目标

• 解决在轮换不规则且消息可能不直接回应彼此的在线聊天对话中，识别连贯消息依赖关系的挑战。
• 开发一种判别式学习方法，以超越简单顺序连接的方式建模对话结构。
• 评估通过LDA主题建模获得的语义相似性对依赖关系预测性能的影响。
• 通过实现对上下文-消息-响应三元组的准确识别，提升自动回复生成和话语解析的效果。
• 建立一个可靠的聊天依赖标注框架，并提供标注者间一致性度量指标。

提出的方法

• 该模型使用条件概率分布来估计消息i依赖于消息j的可能性，基于说话人身份、问题/回答标记、URL、图片、表情符号以及消息距离的二值特征。
• 特征包括消息特定属性（如问号的存在）的指示函数以及消息间距离（d_ij = m），其学习权重分别为η_klab、τ_m和π_ka。
• 通过对数线性模型形式定义概率评分函数，其中评分与特征指示函数及其学习参数的加权和成正比。
• 通过LDA生成的主题分布Φ_i和Φ_j之间的话题分布交叉熵来引入语义相似性，其权重w可学习。
• 通过使用拟牛顿法（limited-memory BFGS）优化的L2正则化条件似然最大化来训练模型参数。
• 最终模型结合词汇、结构和语义特征，以预测每个消息最合理的依赖链接。

实验结果

研究问题

• RQ1 判别式概率模型能否在无需完美轮换的情况下，有效推断噪声大、轮换不规则的在线聊天日志中的对话依赖关系？
• RQ2 与基于规则的基线相比，词汇和结构特征（如疑问词、消息距离）在依赖关系预测中的贡献如何？
• RQ3 在多大程度上，引入基于LDA的语义相似性能提升依赖关系推断的性能？
• RQ4 在人类标注者一致性的前提下，性能的上限是多少？机器模型在多大程度上可接近这一上限？
• RQ5 人类标注的一致性如何？改进的标注设计能否提升模型学习效果？

主要发现

• 判别式学习模型在依赖关系预测上取得了62.4%的准确率和58.0%的F1值，显著优于基于规则的基线1（54.6%准确率，38.5% F1）和基线2（51.3%准确率，47.6% F1）。
• 引入基于LDA的语义相似性后，F1值提升至58.8%，但准确率提升有限（62.6%），表明该特征的边际收益较小。
• 人类标注者表现（以与两名其他标注者平均一致率衡量）为67.7% ± 2.0%，表明存在显著的标注变异性。
• 基于三名标注者多数投票的性能上限为83.0%，表明当前模型仍有巨大提升空间。
• 标注者间一致性（Fleiss’ Kappa度量）为0.482，表明一致性中等，支持需要优化标注指南。