[论文解读] Automatic Identification of Sarcasm Target: An Introductory Approach

Aditya Joshi, Pranav Goel+2 more|arXiv (Cornell University)|Oct 22, 2016

Sentiment Analysis and Opinion Mining参考文献 21被引用 3

一句话总结

本文提出了一项名为讽刺目标识别的新任务，旨在从讽刺性话语中提取被嘲笑的实体或概念。该研究提出了一种结合基于规则和统计分类器的混合方法，在书籍片段和推文数据集上优于两种基线方法及单一组件，混合OR配置的Dice分数达到39.63。

ABSTRACT

Past work in computational sarcasm deals primarily with sarcasm detection. In this paper, we introduce a novel, related problem: sarcasm target identification i.e., extracting the target of ridicule in a sarcastic sentence). We present an introductory approach for sarcasm target identification. Our approach employs two types of extractors: one based on rules, and another consisting of a statistical classifier. To compare our approach, we use two baselines: a naïve baseline and another baseline based on work in sentiment target identification. We perform our experiments on book snippets and tweets, and show that our hybrid approach performs better than the two baselines and also, in comparison with using the two extractors individually. Our introductory approach establishes the viability of sarcasm target identification, and will serve as a baseline for future work.

研究动机与目标

• 为计算讽刺研究中的空白提供解决方案，通过识别讽刺文本中被嘲笑的目标，这一任务此前尚未被探索。
• 开发一种方法，准确提取讽刺句子中被嘲笑的具体实体或概念。
• 评估结合基于规则和统计提取技术的混合方法在真实讽刺文本上的性能。
• 利用人工标注的数据集，为讽刺目标识别的未来研究建立基线。
• 分析挑战，如存在多个目标，以及目标在文本中未明确出现的情况（标记为“Outside”）。

提出的方法

• 该方法使用基于规则的提取器，实现九条语言学规则，依据句法和词汇模式识别讽刺目标。
• 统计分类器将句子中的每个词视为独立实例，利用词性（POS）和情感特征预测该词是否为讽刺目标。
• 通过两种配置组合两个提取器的输出：OR（预测结果的并集）和AND（预测结果的交集）。
• 系统在两个人工标注的数据集上进行训练和评估：一个为书籍片段数据集，另一个为推文数据集。
• 性能通过精确匹配（EM）、F1和Dice分数进行衡量，特别关注目标未出现在文本中的“Outside”情况。
• 错误分析聚焦于目标未出现在句子中的情况，识别误分类模式。

实验结果

研究问题

• RQ1 结合基于规则和统计方法的混合方法能否有效识别讽刺文本中的嘲笑目标？
• RQ2 所提出方法的性能与简单基线和情感目标识别基线相比如何？
• RQ3 当讽刺目标未在文本中明确出现时（即“Outside”情况），会遇到哪些挑战？
• RQ4 在精确率、召回率和F1分数方面，OR和AND融合策略的表现如何比较？
• RQ5 “Outside”情况下的主要错误模式是什么，未来工作如何缓解这些问题？

主要发现

• 混合OR方法在组合数据集上取得了最高性能，Dice分数达到39.63，优于两种基线和单一提取器。
• 基于规则和统计的提取器单独表现均弱于混合OR配置，表明二者具有互补优势。
• 在“Outside”情况下的性能显著下降（Dice分数从39.63降至20.45），尽管精确匹配分数保持相对稳定，表明存在部分匹配问题。
• 系统正确识别了如“Yeah, just ignore me. That is TOTALLY the right way to handle this!”这类句子的“Outside”情况，但在类似情况下错误地将‘I’或‘me’指定为目标。
• 错误分析显示，“Outside”情况下的误分类通常源于对代词或文本中未出现的隐含指代物的过度解读。
• 本研究建立了讽刺目标识别的首个基线，公开提供了用于未来研究的人工标注数据集。