[논문 리뷰] Position Bias Mitigation: A Knowledge-Aware Graph Model for Emotion Cause Extraction

Hanqi Yan, Lin Gui외 2명|arXiv (Cornell University)|2021. 06. 07.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

이 논문은 Emotion Cause Extraction에서 위치 편향을 완화하기 위해 ConceptNet에서 유래한 공통 지식 경로를 통해 의미적 종속성을 모델링하는 지식 인식 그래프 모델(KAG)을 제안한다. 문장 간 순서 및 지식 간선을 포함하는 문장 그래프를 구성하고, 노드 표현 학습을 위해 확장된 Relation-GCN을 사용함으로써 KAG는 원본 데이터셋에서 최고 성능을 달성하며, 위치적 신호를 방해하는 적대적 예제에 대해 뛰어난 강건성을 확보한다.

ABSTRACT

The Emotion Cause Extraction (ECE)} task aims to identify clauses which contain emotion-evoking information for a particular emotion expressed in text. We observe that a widely-used ECE dataset exhibits a bias that the majority of annotated cause clauses are either directly before their associated emotion clauses or are the emotion clauses themselves. Existing models for ECE tend to explore such relative position information and suffer from the dataset bias. To investigate the degree of reliance of existing ECE models on clause relative positions, we propose a novel strategy to generate adversarial examples in which the relative position information is no longer the indicative feature of cause clauses. We test the performance of existing models on such adversarial examples and observe a significant performance drop. To address the dataset bias, we propose a novel graph-based method to explicitly model the emotion triggering paths by leveraging the commonsense knowledge to enhance the semantic dependencies between a candidate clause and an emotion clause. Experimental results show that our proposed approach performs on par with the existing state-of-the-art methods on the original ECE dataset, and is more robust against adversarial attacks compared to existing models.

연구 동기 및 목표

• 기존 ECE 모델이 데이터셋 편향으로 인해 정서 문장과의 상대적 문장 위치에 얼마나 의존하는지 조사하기 위해.
• 위치적 신호를 방해하는 적대적 예제를 생성하여 모델의 강건성을 시험하기 위해.
• 후보 문장과 정서 문장 간 의미적 종속성을 향상시키기 위해 공통 지식을 활용하는 그래프 기반 모델을 개발하기 위해.
• 특히 원인이 정서 문장에 가까이 있지 않은 경우에도 위치 특징에 대한 의존도를 줄여 일반화 능력을 향상시키기 위해.

제안 방법

• 노드가 문장을 나타내고, 연속된 문장을 연결하는 순서 간선(S-Edge)을 포함하는 문장 그래프를 구축하여 국소적 맥락을 포착한다.
• 후보 문장과 정서 문장 간에 ConceptNet 내 핵심 실체 간 지식 경로가 존재할 경우 이를 연결하는 지식 간선(K-Edge)을 도입한다.
• 문장 표현을 확보하기 위해 Bi-LSTM과 Transformer 인코더를 사용하여 노드 특징을 초기화하고, 문서 수준의 어텐션을 통해 정서 맥락을 통합한다.
• 문장 실체 간 ConceptNet에서의 지식 경로를 추출하고, 이를 Bi-LSTM로 인코딩하여 경로 표현을 생성한다.
• S-간선과 K-간선에서 오는 메시지를 집계하여 노드 표현을 업데이트하는 방식으로 Relation-GCN을 확장함으로써 순차적 및 지식 기반 종속성의 통합 모델링을 가능하게 한다.
• 그래프 신경망 추론을 통해 문장 분류를 수행하고, 관련 경로와 문장을 가중치를 두는 어텐션 메커니즘을 활용하여 원인 문장을 예측한다.

실험 결과

연구 질문

• RQ1 기존 ECE 모델이 원인 예측을 위해 문장의 상대적 위치에 얼마나 의존하는가?
• RQ2 제안된 적대적 예제 생성 전략이 위치 기반 유추 편향을 얼마나 효과적으로 방해하는가?
• RQ3 지식 인식 그래프 모델이 표준 벤치마크에서 성능을 유지하면서도 위치 신호에 대한 의존도를 줄일 수 있는가?
• RQ4 ConceptNet에서 유래한 공통 지식의 통합이 위치 무관한 적대적 예제에 대한 모델 강건성을 어떻게 향상시키는가?

주요 결과

• 제안된 KAG 모델은 원본 ECE 데이터셋에서 마이크로 F1 점수 48.52와 매크로 F1 점수 62.39를 기록하여 최신 기술 수준의 성능을 달성한다.
• 위치적 신호가 제거된 적대적 예제에서 KAG는 평균 F1 점수 하락률이 16.97%로 가장 낮아 다른 모델 대비 뛰어난 강건성을 보였다.
• PAE-DGL 및 RTHN 등의 모델은 적대적 샘플에서 성능 저하가 심각하여 최대 33%까지 감소하였으며, 이는 위치 특징에 강하게 의존하고 있음을 시사한다.
• 사례 연구를 통해 KAG가 '논쟁 → 싸움 → 분노' 및 '폭행 → 자극 → 초조함 → 분노'와 같은 다수의 타당한 지식 경로를 효과적으로 인지하여 정확한 원인 문장을 식별하는 것으로 확인되었다.
• 모델는 관련 지식 경로에 어텐션을 기울이는 것으로 나타났지만, '실업 → 상황 → 문제 → 걱정'과 같은 이벤트 수준의 추론에 기반하지 않는 유사 경로 처리에 한계를 보였다.
• 이 연구는 데이터셋 편향이 가까운 원인에 치우쳐 있음을 확인하였고, 이로 인해 모델가 위치에 과도하게 의존하게 되며, 지식 강화된 그래프 모델링이 이 문제를 완화시킬 수 있음을 입증하였다.