[논문 리뷰] Fine-grained Sentiment Analysis with Faithful Attention

Ruiqi Zhong, Steven Shao외 1명|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 17인용 수 39

한 줄 요약

본 논문은 감정 관계 추출 모델을 훈련시켜 주의(attention)을 인간 합리화(human rationales)와 정렬시키고, 주의에 KL-발산(KL-divergence) 손실을 사용한다. 이로써 기본 baselines 대비 4–8 포인트의 향상을 얻고, 소량의 인간 합리화가 GFBF에서 성능과 주의 충실도(attention faithfulness)를 상당히 향상시킬 수 있음을 보여주며, MPQA에서는 혼재된 결과를 보인다.

ABSTRACT

While the general task of textual sentiment classification has been widely studied, much less research looks specifically at sentiment between a specified source and target. To tackle this problem, we experimented with a state-of-the-art relation extraction model. Surprisingly, we found that despite reasonable performance, the model's attention was often systematically misaligned with the words that contribute to sentiment. Thus, we directly trained the model's attention with human rationales and improved our model performance by a robust 4~8 points on all tasks we defined on our data sets. We also present a rigorous analysis of the model's attention, both trained and untrained, using novel and intuitive metrics. Our results show that untrained attention does not provide faithful explanations; however, trained attention with concisely annotated human rationales not only increases performance, but also brings faithful explanations. Encouragingly, a small amount of annotated human rationales suffice to correct the attention in our task.

연구 동기 및 목표

• 소스와 타깃 사이에서 감정이 표현되는 경우를 다루는 표적 감정 분석의 동기를 제시한다.
• 표준 주의(attention)가 실제로 감정 예측을 이끄는 단어들과 정렬되는지 조사한다.
• KL-divergence 손실을 통해 모델의 주의를 인간 합리화와 일치시키는 학습 목적을 제안한다.
• 소량의 인간 합리화가 성능과 주의 충실도를 개선하는 데 충분한지 평가한다.
• 주관적 타당성과 그럴듯함을 수량화하는 지표를 개발한다( probes-needed 와 mass-needed ).

제안 방법

• baseline으로 Zhang et al. (2017) AttnLSTM 관계 추출 프레임워크를 기반으로 한다.
• 모델 주의 Ã를 인간 합리화 주의 A와 정렬시키기 위해 KL(A || Ã) 형태의 KL-발산 기반 주의 손실 L_attn를 도입한다.
• 선택적으로 L_r 다중 작업 합리화 예측 손실을 주의 감독과 비교한다.
• MPQA 2.0와 GFBF 데이터셋으로 학습하고 비관계 클래스(∅)를 균형맞추기 위해 언더샘플링을 사용한다.
• 인간 합리화가 주석된 데이터 포인트의 서로 다른 비율로 학습하는 것을 탐색한다(제한된 합리화).
• 표준 예측 지표와 새로운 충실도/타당성 지표(probes-needed 및 mass-needed) 및 LIME 기반 설명 검사로 평가한다.

실험 결과

연구 질문

• RQ1 표준 주의 감독이 baseline 주의 메커니즘에 비해 관계 추출 성능을 개선하는가?
• RQ2 인간 합리화 감독의 양이 성능과 주의 충실도에 어떤 영향을 미치는가?
• RQ3 학습된 주의 메커니즘이 실제로 충실한 설명인가, 아니면 인간에게 그럴듯하게 보이기만 하는가?
• RQ4 합리화 감독의 효과가 MPQA와 GFBF 데이터셋에서 서로 다른가?
• RQ5 학습된 모델과 비학습 모델 간의 주의 행동 차이를 충실도 지표(probes-needed, mass-needed)가 드러내는가?

주요 결과

• Human rationales로 주의를 학습시키면 훈련되지 않은 주의에 비해 작업 간 성능에서 절대 4–8 포인트의 향상을 얻을 수 있다.
• 주석된 합리화의 소량이 큰 이득을 가져올 수 있으며, 더 많은 합리화를 추가하면 수익이 감소한다.
• GFBF 데이터셋에서 학습된 주의는 충실한 설명을 제공하는 반면( probes-needed 및 mass-needed 감소), MPQA에서는 충실도가 일관되게 달성되지 않는다.
• 훈련되지 않은 주의는 신뢰도가 낮을 수 있으며, 때로는 중요하지 않은 단어에 주의를 기울이거나 비영향 토큰에 더 많은 질량이 할당된다.
• 훈련된 주의가 Pred-rationales(다중 작업 합리화) 및 다른 베이스라인보다 데이터셋 전체에서 우수하다.
• 주관성의 타당성(plausibility)은 인간이 학습된 주의를 더 그럴듯하게 느끼게 할 수 있지만 충실도와는 차이가 있을 수 있어, 명시적 충실도 지표의 필요성을 강조한다.