[논문 리뷰] An Experimental Study of The Effects of Position Bias on Emotion CauseExtraction

Jiayuan Ding, Mayank Kejriwal|arXiv (Cornell University)|2020. 07. 16.

Color perception and design참고 문헌 24인용 수 10

한 줄 요약

이 논문은 Sina-news 기반 감정 원인 추출(ECE) 벤치마크에서 감정 절차 이전에 원인 절차가 자주 나타나는 위치 편향 때문에 단순한 무작위 선택 방법이 F-measure 54.43%를 달성할 수 있음을 보여준다. 이는 딥 러닝 모델들과 견줄 만하다. 데이터셋을 위치 분포를 균형화시켜 편향을 제거한 후, 모든 모델의 성능이 20퍼센트 이상 감소하여 이전의 높은 정확도가 의미적 이해가 아니라 데이터셋 편향 탓임을 입증한다.

ABSTRACT

Emotion Cause Extraction (ECE) aims to identify emotion causes from a document after annotating the emotion keywords. Some baselines have been proposed to address this problem, such as rule-based, commonsense based and machine learning methods. We show, however, that a simple random selection approach toward ECE that does not require observing the text achieves similar performance compared to the baselines. We utilized only position information relative to the emotion cause to accomplish this goal. Since position information alone without observing the text resulted in higher F-measure, we therefore uncovered a bias in the ECE single genre Sina-news benchmark. Further analysis showed that an imbalance of emotional cause location exists in the benchmark, with a majority of cause clauses immediately preceding the central emotion clause. We examine the bias from a linguistic perspective, and show that high accuracy rate of current state-of-art deep learning models that utilize location information is only evident in datasets that contain such position biases. The accuracy drastically reduced when a dataset with balanced location distribution is introduced. We therefore conclude that it is the innate bias in this benchmark that caused high accuracy rate of these deep learning models in ECE. We hope that the case study in this paper presents both a cautionary lesson, as well as a template for further studies, in interpreting the superior fit of deep learning models without checking for bias.

연구 동기 및 목표

• 감정 원인 추출(ECE) 모델의 높은 성능이 깊은 의미적 이해 때문인지, 데이터셋 편향 때문인지 조사하기.
• 널리 사용되는 Sina-news ECE 벤치마크에서의 위치 편향을 특정하고 정량화하기.
• 단순히 절차 위치에 기반한 무작위 선택이 텍스트 분석 없이도 경쟁 가능한 F-measure를 달성할 수 있음을 보여주기.
• 모든 절차 위치가 균형 잡힌 분포를 가지도록 조정된 편향 제거된 벤치마크를 제안하여 ECE 모델의 공정한 평가 보장하기.
• ECE에서의 높은 모델 정확도에 대한 해석을 도전하며, 모델의 복잡성에 기인한 성능로 보고 싶은 자료 이전에 데이터셋 편향을 점검할 것을 촉구하기.

제안 방법

• 텍스트 내용을 관찰하지 않고 절차의 상대적 위치에만 기반해 감정 원인 레이블을 할당하는 무작위 선택 기반선을 평가했다.
• 원본 Sina-news 벤치마크를 분석하여 감정 절차 이전에 위치한 절차(위치 -1)에 감정 원인이 자주 나타나는 비율을 정량화했다.
• 모든 위치 카테고리(-12부터 +12까지)에 걸쳐 감정 원인의 분포를 균형 잡기 위해 인스턴스를 재샘플링하여 균형 잡힌 벤치마크를 구축했다.
• 세 가지 최신 딥 러닝 모델(PAE, PAEDGL, RTHN)을 원본 및 편향 제거된 벤치마크에서 재평가하여 편향 제거로 인한 성능 저하를 측정했다.
• 통계적 분석을 통해 편향 제거 전후의 모델 성능을 비교하였으며, F1-score 변화에 중점을 두었다.
• 언어학적 분석을 통해 편향의 기원을 설명하였으며, Sina-news의 균일한 글쓰기 스타일과 장르의 통일성과 연관지었다.

실험 결과

연구 질문

• RQ1 Sina-news 벤치마크에서의 위치 편향이 ECE 모델의 높은 성능에 얼마나 기여하는가?
• RQ2 텍스트 내용을 사용하지 않고 절차 위치에 기반한 무작위 선택 방법이 경쟁 가능한 F-measure를 달성할 수 있는가?
• RQ3 절차 위치 분포를 균형 잡히게 하여 데이터셋을 편향 제거하면 최신 딥 러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ4 ECE 작업에서 딥 러닝 모델의 높은 정확도가 진정한 의미적 이해를 반영하지 못하고 오히려 데이터셋 편향을 악용한 결과인 이유는 무엇인가?
• RQ5 Sina-news 코퍼스의 어떤 언어학적 및 구조적 특성이 ECE에서의 위치 편향 발생에 기여하는가?

주요 결과

• 단순히 절차 위치에 기반한 무작위 선택 방법이 원본 Sina-news 벤치마크에서 F1-score 54.43%를 달성했으며, 이는 복잡한 딥 러닝 모델의 성능과 견줄 만했다.
• 원본 벤치마크는 강한 위치 편향을 보이며, 감정 원인의 54.45%가 감정 절차 바로 이전의 절차(위치 -1)에 위치해 있다.
• 위치 분포를 균형 잡은 후 무작위 기반선의 F1-score는 24.04%로 떨어졌으며, 이는 원본 벤치마크에서 성능을 주도한 것이 위치 자체였음을 시사한다.
• 테스트한 세 개의 딥 러닝 모델(PAE, PAEDGL, RTHN) 모두 편향 제거된 벤치마크에서 성능이 최소 20퍼센트 이상 감소했으며, F1-score는 41% 이하로 떨어졌다.
• RTHN과 같은 최신 모델의 성능은 원본 벤치마크에서는 F1 54.45%를 기록했지만, 균형 잡힌 벤치마크에서는 F1 54.45%로 떨어졌으며, 이는 높은 정확도가 의미적 추론이 아니라 위치 편향을 악용한 결과였음을 증명한다.
• Sina-news의 언어학적 균일성과 장르 특화된 스타일이 위치 편향 발생에 크게 기여하며, 이는 벤치마크가 일반화에 덜 대표적이며 덜 도전적인 요소로 작용한다.