[论文解读] Conversations Gone Awry: Detecting Early Signs of Conversational Failure

Justine Zhang, Jonathan P. Chang+5 more|arXiv (Cornell University)|May 14, 2018

Hate Speech and Cyberbullying Detection参考文献 41被引用 57

一句话总结

本文提出一个任务：利用第一轮对话即可预测一场公民在线对话是否会滑向人身攻击，基于礼貌性和修辞提示进行预测。

ABSTRACT

One of the main challenges online social systems face is the prevalence of antisocial behavior, such as harassment and personal attacks. In this work, we introduce the task of predicting from the very start of a conversation whether it will get out of hand. As opposed to detecting undesirable behavior after the fact, this task aims to enable early, actionable prediction at a time when the conversation might still be salvaged. To this end, we develop a framework for capturing pragmatic devices---such as politeness strategies and rhetorical prompts---used to start a conversation, and analyze their relation to its future trajectory. Applying this framework in a controlled setting, we demonstrate the feasibility of detecting early warning signs of antisocial behavior in online discussions.

研究动机与目标

• 在在线对话中预测未来的反社会行为发生之前，激励问题的重要性。
• 构建一个受控、带标签的维基百科讨论页对话数据集，这些对话起初文明但可能会失控。
• 开发一个框架以提取如礼貌策略和修辞提示等语用性手段。
• 评估这些早期语言线索是否能预测对话走向并提供可操作的洞见。

提出的方法

• 使用毒性分类器和众包筛选来识别起始文明的对话。
• 创建匹配的受控集合，在同一讨论页上配对走向偏离与保持轨道的对话，以控制话题混淆。
• 通过对依存句法的模式匹配提取Brown and Levinson（1987）中的礼貌策略。
• 通过无监督、基于依存句法表示和聚类的域内特定对话提示进行发现。
• 在留一页交叉验证中使用逻辑回归评估语用特征的预测能力。

实验结果

研究问题

• RQ1 初始交流中的早期语言线索能否预测对话是否会滑向人身攻击？
• RQ2 礼貌策略与对话未来走向有何关系？
• RQ3 通过无监督发现的域特定提示是否超越预定义的礼貌标记提供预测信号？
• RQ4 与基线语言或用户特征相比，语用特征的预测能力如何？

主要发现

• 来自前两条评论的礼貌与提示类型特征对未来滑离的预测信号可衡量。
• 第一轮直接提问和句首使用you代词与走向偏离的对话相关（p < 0.001）。
• 第一轮中的感恩与问候在保持轨道的对话中更常见（p < 0.001 至 p < 0.05）。
• 语用特征（提示+礼貌）在预测未来结果方面达到61.6%准确率，优于如词袋模型和情感等基线。
• 将毒性信号与语用特征结合的准确率达到64.9%，接近人类表现（72%），并在某些基线上有所提升。
• 人类在预测未来攻击方面的正确率为72%，模型在80%的正确人类案例中与人类表现相当。