[论文解读] An Experimental Study of The Effects of Position Bias on Emotion CauseExtraction

Jiayuan Ding, Mayank Kejriwal|arXiv (Cornell University)|Jul 16, 2020

Color perception and design参考文献 24被引用 10

一句话总结

本文表明，在基于新浪新闻的愤怒原因抽取（ECE）基准中，由于原因通常出现在情绪从句之前，位置偏差使得一种简单的随机选择方法即可达到54.43%的F1值，与深度学习模型表现相当。在通过平衡从句位置分布对数据集进行去偏处理后，所有模型（包括最先进网络）的性能均下降超过20%，证明先前的高准确率源于数据集偏差，而非语义理解能力。

ABSTRACT

Emotion Cause Extraction (ECE) aims to identify emotion causes from a document after annotating the emotion keywords. Some baselines have been proposed to address this problem, such as rule-based, commonsense based and machine learning methods. We show, however, that a simple random selection approach toward ECE that does not require observing the text achieves similar performance compared to the baselines. We utilized only position information relative to the emotion cause to accomplish this goal. Since position information alone without observing the text resulted in higher F-measure, we therefore uncovered a bias in the ECE single genre Sina-news benchmark. Further analysis showed that an imbalance of emotional cause location exists in the benchmark, with a majority of cause clauses immediately preceding the central emotion clause. We examine the bias from a linguistic perspective, and show that high accuracy rate of current state-of-art deep learning models that utilize location information is only evident in datasets that contain such position biases. The accuracy drastically reduced when a dataset with balanced location distribution is introduced. We therefore conclude that it is the innate bias in this benchmark that caused high accuracy rate of these deep learning models in ECE. We hope that the case study in this paper presents both a cautionary lesson, as well as a template for further studies, in interpreting the superior fit of deep learning models without checking for bias.

研究动机与目标

• 探究ECE模型的高性能是否源于深层语义理解，还是数据集偏差所致。
• 识别并量化广泛使用的新浪新闻ECE基准中的位置偏差。
• 证明仅基于从句位置的随机选择方法即可在不分析文本内容的情况下实现具有竞争力的F1值。
• 提出一个从句位置分布均衡的去偏基准，以确保ECE模型评估的公平性。
• 挑战对ECE模型高准确率的解释，呼吁在归因于模型复杂性之前，审慎审视数据集偏差。

提出的方法

• 评估了一种随机选择基线方法，该方法仅根据从句的相对位置分配情绪原因标签，而无需观察文本内容。
• 分析原始新浪新闻基准，量化情绪原因在情绪从句前一位置（位置-1）出现的频率失衡情况。
• 通过重新采样实例，构建了一个平衡的基准，使情绪原因在所有位置类别（从-12到+12个从句）中的分布趋于均等。
• 在原始基准和去偏基准上重新评估三种最先进深度学习模型（PAE、PAEDGL、RTHN），以测量去偏处理导致的性能下降。
• 使用统计分析比较去偏前后模型的性能，重点关注F1分数的变化。
• 提供语言学分析，解释偏差的成因，将其与新浪新闻的同质化写作风格和文体一致性联系起来。

实验结果

研究问题

• RQ1 新浪新闻基准中的位置偏差在多大程度上导致了ECE模型的高性能？
• RQ2 仅基于从句位置的随机选择方法是否能在不使用文本内容的情况下实现具有竞争力的F1值？
• RQ3 通过平衡从句位置分布对数据集进行去偏处理后，对最先进深度学习模型在ECE任务中的性能有何影响？
• RQ4 为何ECE任务中深度学习模型的高准确率并未反映真正的语义理解，而只是对数据集偏差的利用？
• RQ5 新浪新闻语料库的语言和结构特征如何导致ECE任务中位置偏差的产生？

主要发现

• 仅基于位置的随机选择方法在原始新浪新闻基准上实现了54.43%的F1值，与复杂深度学习模型表现相当或更优。
• 原始基准表现出显著的位置偏差，54.45%的情绪原因位于情绪从句前一位置（位置-1）。
• 在对数据集进行去偏处理以平衡位置分布后，随机基线的F1值下降至24.04%，表明在原始基准中，位置本身是性能的主要驱动因素。
• 测试的三种深度学习模型（PAE、PAEDGL、RTHN）在去偏基准上的性能均下降至少20%，F1值降至41%以下。
• 如RTHN等最先进模型的性能在原始基准上为54.45% F1，但在平衡后的基准上下降至54.45%，证明其高准确率源于对位置偏差的利用，而非语义推理能力。
• 新浪新闻的语义同质性与特定文体风格显著促进了位置偏差的产生，使该基准代表性不足，且不利于模型泛化能力的评估。