[论文解读] Getting Reliable Annotations for Sarcasm in Online Dialogues

Reid Swanson, Stephanie M. Lukin+3 more|arXiv (Cornell University)|Sep 4, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用 3

一句话总结

本文利用亚马逊机械 Turk 上的众包标注，研究了在线对话中讽刺语气标注的可靠性。比较了多种统计可靠性度量方法——Kappa、Karger 算法、多数投票法与期望最大化（EM）——发现仅需每句 3–7 名标注者即可通过简单多数投票实现高可靠性，大多数情况下可解决歧义，最模糊的样本最多需 25 次标注。其主要贡献在于提出了一种实用且可扩展的方法，仅需极少开销即可获得高质量的讽刺语气标注数据。

ABSTRACT

The language used in online forums differs in many ways from that of traditional language resources such as news. One difference is the use and frequency of nonliteral, subjective dialogue acts such as sarcasm. Whether the aim is to develop a theory of sarcasm in dialogue, or engineer automatic methods for reliably detecting sarcasm, a major challenge is simply the difficulty of getting enough reliably labelled examples. In this paper we describe our work on methods for achieving highly reliable sarcasm annotations from untrained annotators on Mechanical Turk. We explore the use of a number of common statistical reliability measures, such as Kappa, Karger's, Majority Class, and EM. We show that more sophisticated measures do not appear to yield better results for our data than simple measures such as assuming that the correct label is the one that a majority of Turkers apply.

研究动机与目标

• 为解决在线对话中获取可靠讽刺语气标注数据的挑战，传统 NLP 标注方法常因主观性和细微差别而失效。
• 评估复杂统计可靠性度量方法（如 Karger 算法、EM）是否优于简单多数投票法，在众包数据上标注讽刺语气时的表现。
• 确定在在线对话中实现稳定、可靠讽刺语气标注所需的最优标注者数量。
• 评估讽刺语气标注是否本质上比其他主观 NLP 任务更具歧义性，因而需要更多标注者才能达成共识。
• 提供一种可扩展、经实证验证的方法，用于从未经训练的标注者中生成可靠的讽刺语气数据集。

提出的方法

• 作者从未经训练的机械 Turk 工作人员处收集了 600 个在线对话回复的每句 25 次标注，使用了 100 个已知的讽刺语气标注标准样本作为黄金标准。
• 应用了多种可靠性估计方法：Cohen’s Kappa、Karger 算法、多数投票法与期望最大化（EM），以从噪声标签中推断真实标签。
• 研究采用分层抽样方法识别最模糊的案例，并追踪标注者数量从 3 增加到 25 时的标签收敛情况。
• 通过追踪随着标注数量增加，项目分类（讽刺 vs. 非讽刺）发生变化的频率来衡量标签稳定性。
• 最终黄金标准通过使用完整标注集的 Karger 算法建立，各方法结果对比用于评估准确率与收敛性。
• 作者分析了高度模糊案例中的标签切换行为，重点关注初始歧义（讽刺与非讽刺票数比接近 0.5）随标注数量增加而演变的过程。

实验结果

研究问题

• RQ1 使用 Karger 算法或 EM 等复杂可靠性度量方法是否能获得优于简单多数投票法的讽刺语气标注结果？
• RQ2 在在线对话中，实现稳定可靠的讽刺语气标签所需的最少标注者数量是多少？
• RQ3 讽刺语气标注是否本质上比其他主观 NLP 任务更具歧义性，因而需要更多标注者才能达成共识？
• RQ4 随着标注数量的增加，标签分配如何变化？收敛发生在何时？
• RQ5 初始高度模糊的标签（讽刺与非讽刺票数比接近 0.5）在获得更多标注后，其稳定性如何？

主要发现

• 仅使用 3 名标注者，多数投票法在黄金标准上达到了 82.5% 的准确率，表明即使标注量极少，其可靠性依然很强。
• 对于最模糊的 400 个句子，准确率从 3 名标注者时的约 80% 提升至 10 名标注者时的约 90%，且在 23 次标注后增益极小。
• 在 25 次标注后，仅有 9 个句子仍保持模糊，表明通过适度的标注投入，几乎可实现完美共识。
• 大多数项目在 7 次标注后即实现标签收敛，仅有极少数高度模糊案例在 10–15 次标注后仍持续改变分类。
• 研究发现 7 名标注者足以稳定讽刺语气标签，支持了讽刺语气标注并不需要比其他主观 NLP 任务更多标注者的结论。
• 结果表明，简单多数投票法的性能与 Karger 算法和 EM 等复杂模型相当，且计算成本极低。