[论文解读] "Having 2 hours to write a paper is fun!": Detecting Sarcasm in Numerical Portions of Text

Lakshya Kumar, Arpan Somani+1 more|arXiv (Cornell University)|Sep 6, 2017

Sentiment Analysis and Opinion Mining参考文献 20被引用 13

一句话总结

本文提出了首个系统性方法，用于检测由文本中数值不一致引发的反语，例如 '写论文有2个小时是件有趣的事！'。该研究提出了基于规则、机器学习以及深度学习的模型，特别是CNN-FF架构，其在推文数据集上的F1得分达到0.93，优于以往方法，表明数值上下文是反语检测的关键线索。

ABSTRACT

Sarcasm occurring due to the presence of numerical portions in text has been quoted as an error made by automatic sarcasm detection approaches in the past. We present a first study in detecting sarcasm in numbers, as in the case of the sentence 'Love waking up at 4 am'. We analyze the challenges of the problem, and present Rule-based, Machine Learning and Deep Learning approaches to detect sarcasm in numerical portions of text. Our Deep Learning approach outperforms four past works for sarcasm detection and Rule-based and Machine learning approaches on a dataset of tweets, obtaining an F1-score of 0.93. This shows that special attention to text containing numbers may be useful to improve state-of-the-art in sarcasm detection.

研究动机与目标

• 为解决现有反语检测系统在识别由数值不一致（如不切实际的时间长度或不可能的数值）引发的反语时的不足。
• 探究数值上下文（特别是数值的大小和单位）是否可作为社交媒体文本中反语检测的可靠信号。
• 开发并评估适用于检测数值上下文中文本反语的基于规则、机器学习和深度学习的模型。
• 证明聚焦于数值反语可提升整体反语检测性能，尤其是在表面情感与语境隐含情感相悖的情况下。

提出的方法

• 提出一种基于规则的方法，通过在相似语境中将数值与预期范围进行比较，包含两种变体：一种为严格单位匹配，另一种为灵活的单位归一化。
• 采用支持向量机（SVM）、K近邻（KNN）和随机森林等机器学习分类器，特征包括情感、标点符号、表情符号、数值大小和数值单位，同时使用预训练的推文词嵌入和人工特征工程。
• 引入深度学习模型——CNN-FF、CNN-LSTM-FF 和 LSTM-FF，利用预训练的推文词嵌入自动学习表示，避免大量人工特征工程。
• 使用卷积神经网络（CNN）捕捉序列中的局部空间或时间模式，使用长短期记忆网络（LSTM）建模序列文本中的长期依赖关系。
• 在包含反语和非反语推文的数据集上训练模型，其中数值反语定义为不切实际或不一致的数值（如‘2小时写论文’）。
• 使用保留的测试集评估模型性能，采用F1得分、精确率和召回率，并与四种先前的反语检测系统进行比较。

实验结果

研究问题

• RQ1 不切实际的短时间长度或不合理的数值等数值不一致，是否可作为社交媒体文本中反语的可靠指标？
• RQ2 基于规则、机器学习和深度学习的方法在检测由数值内容触发的反语方面表现如何比较？
• RQ3 与传统情感或语言特征相比，整合数值大小和单位信息在多大程度上能提升反语检测性能？
• RQ4 在数值反语检测中，使用预训练推文词嵌入训练的深度学习模型是否能优于基于手工特征的模型？
• RQ5 现有反语检测系统在面对数值反语时的主要失败模式是什么？

主要发现

• 所提出的CNN-FF深度学习模型在测试集上取得最高的F1得分0.93，相比最佳性能的先前方法在F1得分上提升了68%。
• 基于规则的Approach-1取得F1得分为0.82，表明仅通过数值大小和上下文匹配即可有效检测反语，无需复杂学习机制。
• 使用300维推文词嵌入的机器学习模型中，SVM取得最佳F1得分0.83，表明密集词表示可显著提升性能。
• 深度学习模型表现出一致的优越性：CNN-FF（F1=0.93）、CNN-LSTM-FF（F1=0.92）和LSTM-FF（F1=0.90），全部优于先前的最先进方法。
• 错误分析揭示主要挑战：非正式或缺失的单位（如用'min'代替'minutes'）、单条推文中存在多个数字，以及反语由文本线索而非数值驱动。
• 本研究证实，现有反语检测系统在数值反语任务上性能显著下降，凸显了对数值不一致进行专门建模的必要性。