[논문 리뷰] Causal Intervention Improves Implicit Sentiment Analysis

Siyin Wang, Jie Zhou외 5명|arXiv (Cornell University)|2022. 08. 19.

Sentiment Analysis and Opinion Mining인용 수 9

한 줄 요약

이 논문은 암시적 감성 분석을 위한 인과적 간섭 모델인 ISAIV를 제안하며, 명시적 감성 어휘와의 유사 상관관계를 제거하기 위해 통제 변수를 사용함으로써 정확도와 추론 능력을 향상시킨다. 문장과 감성 간 순수 인과 효과를 분리하기 위해 이중 학습을 적용함으로써, 일반 및 액면 기반 암시적 감성 분석 과제에서 최신 기준 성능을 달성하며, 강력한 기준 모델들을 능가하는 정확도와 F1 점수를 기록한다.

ABSTRACT

Despite having achieved great success for sentiment analysis, existing neural models struggle with implicit sentiment analysis. This may be due to the fact that they may latch onto spurious correlations ("shortcuts", e.g., focusing only on explicit sentiment words), resulting in undermining the effectiveness and robustness of the learned model. In this work, we propose a causal intervention model for Implicit Sentiment Analysis using Instrumental Variable (ISAIV). We first review sentiment analysis from a causal perspective and analyze the confounders existing in this task. Then, we introduce an instrumental variable to eliminate the confounding causal effects, thus extracting the pure causal effect between sentence and sentiment. We compare the proposed ISAIV model with several strong baselines on both the general implicit sentiment analysis and aspect-based implicit sentiment analysis tasks. The results indicate the great advantages of our model and the efficacy of implicit sentiment reasoning.

연구 동기 및 목표

• 암시적 감성 분석에서 신경망 모델의 일반화 능력 저하 원인인 명시적 감성 어휘와의 유사 상관관계에 기인한 문제를 해결하기 위해.
• 암시적 감성 분석을 인과적 관점에서 재정의하여 모델 예측을 왜곡하는 혼동 요인을 규명하기 위해.
• 입력 문장과 감성 레이블 간 순수 인과 효과를 혼동 요인과 독립적으로 고립시키는 방법을 개발하기 위해.
• 인과적 간섭을 통해 어휘적 단서에 대한 의존도를 제거함으로써 모델의 강건성을 향상시키기 위해.
• 실증적 평가와 적대적 테스트를 통해 인과적 추론이 암시적 감성 분석에서 효과적인지 검증하기 위해.

제안 방법

• 모델은 이중 학습 프로세스를 활용한다: 첫 번째 단계에서 입력 문장과 통제 변수 간의 관계를 모델링한다.
• 통제 변수는 입력에 적용된 확률적 편향으로 정의되며, 관측되지 않은 혼동 요인의 대체 지표로 기능한다.
• 두 번째 단계에서 모델은 첫 번째 단계의 관계를 활용해 예측을 조정하고, 혼동 요인과 감성 간의 유사 상관관계를 제거한다.
• 구조적 인과 모델(Structural Causal Models, SCMs)을 활용하여 인과 관계를 정식화하고, 총 효과와 do-계산 기반 인과 효과를 구분한다.
• 통제 변수 추정을 적용하여 혼동 요인을 통한 간접 경로를 제외한 문장이 감성에 미치는 직접 인과 효과를 식별한다.
• 프레임워크는 딥 네ural 네트워크에 통합되어 엔드 투 엔드 학습이 가능하면서도 인과적 해석 가능성은 유지한다.

실험 결과

연구 질문

• RQ1 통제 변수를 활용한 인과적 간섭이 암시적 감성 분석 과제에서 성능 향상에 기여하는가?
• RQ2 ISAIV 모델은 명시적 감성 어휘를 단서로 삼는 데 얼마나 줄이는가?
• RQ3 기본 신경망 기준 모델 대비 적대적 공격 상황에서 모델의 강건성은 어느 정도 향상되는가?
• RQ4 문장과 감성 간 순수 인과 효과를 고립시키면 암시적 감성 예제에서 일반화 능력이 향상되는가?
• RQ5 액면 기반 및 완전히 암시적인 경우를 포함한 다양한 암시적 감성 벤치마크에서 모델의 성능은 어떠한가?

주요 결과

• 레스토랑 데이터셋에서 ISAIV는 58.77% 정확도와 48.56% F1을 기록하여 BERT-SPC(57.04% 정확도, 44.43% F1)를 능가했다.
• 노트북 데이터셋에서 ISAIV는 59.45% 정확도와 43.24% F1을 달성하여 BERT-SPC의 51.05% 정확도와 41.01% F1을 초월했다.
• 적대적 공격 테스트 결과, ISAIV는 기준 모델보다 더 강건한 것으로 나타나, 유사 감성 신호에 대한 의존도가 감소한 것으로 확인되었다.
• 사례 연구 결과, ISAIV는 문맥적으로 모호한 상황에서도 명시적 감성 어휘가 없을 때도 감성을 정확히 추론하는 것으로 나타났다. 예를 들어 'automatically added'와 같은 표현에서도 그러한 능력을 보였다.
• 제거 분석 및 강건성 분석을 통해 모델은 어휘적 단서에서 비롯하는 혼동 영향을 효과적으로 제거하여 순수 인과 효과를 성공적으로 추출하였다.
• 희귀 지식이 필요한 경우(예: 'gratuity')에는 한계가 관찰되어, 외부 지식 통합이 여전히 도전 과제임을 시사하였다.