[论文解读] Are Word Embedding-based Features Useful for Sarcasm Detection?

Aditya Joshi, Vaibhav Tripathi+3 more|arXiv (Cornell University)|Oct 4, 2016

Sentiment Analysis and Opinion Mining参考文献 18被引用 16

一句话总结

本文通过引入基于词嵌入的相似度与不一致度得分，增强现有讽刺检测特征，以提升对细微、无情感讽刺的检测效果。通过测量句子中词对之间的余弦相似度——特别是最相似和最不相似的词对——该方法捕捉语境不一致，从而在多个特征集和嵌入类型下实现最高达4%的F1分数提升，其中Word2Vec和依存关系加权嵌入表现最佳。

ABSTRACT

This paper makes a simple increment to state-of-the-art in sarcasm detection research. Existing approaches are unable to capture subtle forms of context incongruity which lies at the heart of sarcasm. We explore if prior work can be enhanced using semantic similarity/discordance between word embeddings. We augment word embedding-based features to four feature sets reported in the past. We also experiment with four types of word embeddings. We observe an improvement in sarcasm detection, irrespective of the word embedding used or the original feature set to which our features are augmented. For example, this augmentation results in an improvement in F-score of around 4\% for three out of these four feature sets, and a minor degradation in case of the fourth, when Word2Vec embeddings are used. Finally, a comparison of the four embeddings shows that Word2Vec and dependency weight-based features outperform LSA and GloVe, in terms of their benefit to sarcasm detection.

研究动机与目标

• 解决现有讽刺检测方法因依赖情感词而难以捕捉细微、无情感讽刺的局限性。
• 探究词嵌入之间的语义相似度与不一致度是否可作为讽刺中语境不一致的有效指标。
• 评估在四个既有的讽刺检测特征集中增强基于词嵌入的特征的影响。
• 比较四种词嵌入类型——Word2Vec、GloVe、LSA和依存关系加权嵌入——在讽刺检测中的有效性。
• 探索基于相似度和加权相似度的词嵌入特征是否能提升讽刺检测性能。

提出的方法

• 该方法引入两类基于词嵌入的特征：基于相似度的特征（词对之间的最大和最小余弦相似度）以及基于加权相似度的特征（按句子中词对之间的线性距离加权）。
• 使用四种预训练的嵌入模型计算词嵌入之间的余弦相似度：Word2Vec、GloVe、LSA和依存关系加权嵌入。
• 这些特征被系统性地增强至四个先前报道的讽刺检测特征集：单字特征、基于LIWC的特征、标点符号与情感模式特征，以及隐含/显式不一致特征。
• 通过基准数据集上的F1分数评估增强模型的性能，并在不同嵌入类型和特征组合间进行比较。
• 加权相似度特征采用线性衰减函数，根据句子中词对之间的距离对相似度得分进行加权。
• 在所有嵌入类型与原始特征集的组合上进行实验，以评估所提特征的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 当将基于词嵌入的相似度与不一致度特征添加到现有特征集时，是否能提升讽刺检测性能？
• RQ2 在缺乏显式情感词的句子中，词与词之间的语义相似度是否能增强讽刺检测能力？
• RQ3 在Word2Vec、GloVe、LSA和依存关系加权嵌入中，哪种词嵌入类型能带来最大的讽刺检测F1分数提升？
• RQ4 考虑句法距离的加权相似度特征与无加权相似度特征相比，在捕捉讽刺线索方面表现如何？
• RQ5 基于词嵌入的特征在不同讽刺检测模型和数据集上是否具有稳定的增益效果？

主要发现

• 在使用Word2Vec嵌入时，将基于词嵌入的特征增强至四个先前的讽刺检测特征集，在四组中的三组中使F1分数平均提升约4%。
• 在使用Word2Vec嵌入时，仅在一个原始特征集中，添加词嵌入特征导致F1分数出现轻微下降。
• Word2Vec和依存关系加权嵌入分别带来最高的平均F1分数提升（1.143%和1.048%），优于LSA（0.452%）和GloVe（0.651%）。
• 基于加权相似度的特征在所有嵌入类型和特征集上均持续优于无加权相似度特征。
• 本研究证实，通过低余弦相似度捕捉到的语义不一致（即语义无关词对之间的低相似度）是讽刺的强指标，即使在无情感词的语境中亦然。
• 错误分析揭示了在处理多义词、需要对话历史的语境讽刺，以及非讽刺文本中的隐喻时存在局限，可能导致误报。