[论文解读] Hope Speech Detection: A Computational Analysis of the Voice of Peace

Shriphani Palakodety, Ashiqur R. KhudaBukhsh+1 more|arXiv (Cornell University)|Sep 11, 2019

Political Conflict and Governance被引用 18

一句话总结

本文提出了一项新颖的自然语言处理任务——希望话语检测，旨在识别在政治紧张冲突期间用户生成的在线内容中传播和平的言论。通过使用多语种词嵌入进行低资源语言识别，并在印度-巴基斯坦危机期间的YouTube评论上微调分类器，作者实现了84.68%的精确率，用于检测促进和平的信息，结果表明当紧张局势最高时，亲和平情绪达到顶峰。

ABSTRACT

The recent Pulwama terror attack (February 14, 2019, Pulwama, Kashmir) triggered a chain of escalating events between India and Pakistan adding another episode to their 70-year-old dispute over Kashmir. The present era of ubiquitious social media has never seen nuclear powers closer to war. In this paper, we analyze this evolving international crisis via a substantial corpus constructed using comments on YouTube videos (921,235 English comments posted by 392,460 users out of 2.04 million overall comments by 791,289 users on 2,890 videos). Our main contributions in the paper are three-fold. First, we present an observation that polyglot word-embeddings reveal precise and accurate language clusters, and subsequently construct a document language-identification technique with negligible annotation requirements. We demonstrate the viability and utility across a variety of data sets involving several low-resource languages. Second, we present an analysis on temporal trends of pro-peace and pro-war intent observing that when tensions between the two nations were at their peak, pro-peace intent in the corpus was at its highest point. Finally, in the context of heated discussions in a politically tense situation where two nations are at the brink of a full-fledged war, we argue the importance of automatic identification of user-generated web content that can diffuse hostility and address this prediction task, dubbed \emph{hope-speech detection}.

研究动机与目标

• 解决在地缘政治冲突期间高紧张度在线话语中检测具有缓解敌意作用内容的挑战。
• 利用多语种词嵌入和极少人工标注，开发一种低资源语言识别方法。
• 分析2019年印度-巴基斯坦危机期间亲战与亲和平情绪的随时间演变趋势。
• 将希望话语检测确立为一项新的NLP任务，具有在社交媒体内容审核中的实际应用价值。
• 证明在现实环境中自动检测促进和平内容是可行且有效的。

提出的方法

• 构建了一个大规模语料库，包含921,235条英文YouTube评论，来自2,890个涵盖2019年普尔瓦马袭击事件及其后续影响的新闻视频。
• 提出一种基于多语种词嵌入的语言识别技术，通过极少人工标注数据，实现高精度的语言聚类。
• 利用情感短语词典和监督学习构建希望话语分类器，并在人工标注的评论上进行训练。
• 使用正则化特征进行分类器训练，并在100次随机数据划分中评估性能。
• 对1,000条随机抽取的未标注评论进行人工评估，以衡量其在真实场景中的表现。
• 使用Stanford CoreNLP作为基线进行情感分析，以对比所提出的希望话语检测任务的性能。

实验结果

研究问题

• RQ1 多语种词嵌入能否用于构建准确且人工标注极少的语言识别系统，以处理多语言社交媒体数据？
• RQ2 在高风险地缘政治危机期间，亲战与亲和平情绪随时间如何演变？
• RQ3 能否以高精确率和高召回率自动检测希望话语——即缓解敌意、促进和平的内容？
• RQ4 在此情境下，专用希望话语分类器的性能与通用情感分析工具相比如何？
• RQ5 在真实社交媒体话语中，该方法可检测出哪些亲和平内容的子类别？

主要发现

• 基于多语种词嵌入的语言识别方法在极少人工标注下实现了高准确率，有效支持了多语言社交媒体数据的分析，尤其适用于低资源语言。
• 亲和平情绪在印度-巴基斯坦危机最激烈阶段达到顶峰，与紧张局势会抑制亲和平话语的预期相反。
• 希望话语分类器在真实世界测试中实现了84.68%的精确率，人工评估中在111个预测为正类的评论中正确识别出94个。
• 该分类器检测到了希望话语的所有主要子类别，包括呼吁和平、强调共同人性，以及谴责战争与政治分裂。
• 通用情感分析工具（如Stanford CoreNLP）在此任务中表现不佳（F1: 33.17%），表明希望话语检测需要超越标准情感分析的专门化方法。
• 本研究证明，自动检测促进和平内容是可行的，并可在高紧张度在线话语期间显著减少人工审核工作量。