[논문 리뷰] Improving Event Causality Identification via Self-Supervised Representation Learning on External Causal Statement

Xinyu Zuo, Pengfei Cao외 5명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 35인용 수 7

한 줄 요약

이 논문은 외부 인과 문장을 활용하여 사건 인과관계 식별(ECI) 성능을 햖थ하는 자기지도 학습 표현 학습 프레임워크인 CauSeRL을 제안한다. 대조적 자기지도 학습을 통해 문맥에 특화된 인과 패턴을 학습하고, 대조적 지식 전이 전략을 통해 이를 전이함으로써 CauSeRL은 최신 기준 성능을 달성하여 EventStoryLine과 Causal-TimeBank에서 각각 F1 점수를 +2.0과 +3.4 향상시켰다.

ABSTRACT

Current models for event causality identification (ECI) mainly adopt a supervised framework, which heavily rely on labeled data for training. Unfortunately, the scale of current annotated datasets is relatively limited, which cannot provide sufficient support for models to capture useful indicators from causal statements, especially for handing those new, unseen cases. To alleviate this problem, we propose a novel approach, shortly named CauSeRL, which leverages external causal statements for event causality identification. First of all, we design a self-supervised framework to learn context-specific causal patterns from external causal statements. Then, we adopt a contrastive transfer strategy to incorporate the learned context-specific causal patterns into the target ECI model. Experimental results show that our method significantly outperforms previous methods on EventStoryLine and Causal-TimeBank (+2.0 and +3.4 points on F1 value respectively).

연구 동기 및 목표

• 사건 인과관계 식별(ECI)에서 레이블이 부족한 데이터 문제를 해결하여, 새로운 사례로의 일반화 능력을 향상시키기 위해.
• 작은 레이블이 부여된 데이터셋에 존재하지 않는, 대규모의 레이블이 없는 외부 인과 문장을 활용해 문맥에 특화된 인과 패턴을 학습하기 위해.
• 사람이 레이블링한 예시에만 의존하지 않고, 이러한 학습된 인과 패턴을 목표 ECI 모델에 효과적으로 전이하는 방법을 개발하기 위해.
• 특히 레이블이 부족한 환경에서의 일반화 능력과 강인성을 향상시키기 위해 ECI 모델의 성능을 향상시키기 위해.

제안 방법

• 레이블이 없는 외부 인과 문장에서 문맥에 특화된 인과 패턴을 추출하기 위해 자기지도 대조 학습 프레임워크를 설계하기 위해.
• 두 개의 샘플된 인과 문장을 비교하기 위해 듀얼 인코더 설정을 사용하여, 잠재된 인과 구조를 반영하는 공통 표현을 학습하기 위해.
• 교사 모델(자기지도 인코더)이 학생 모델(ECI 모델)을 안내하는 대조적 전이 전략을 적용하여, 인과 이벤트 표현 간의 정렬을 유도하기 위해.
• 교사 및 학생 표현 간의 상호정보량을 최대화하여 인과 지식의 효과적인 전이를 보장하기 위해.
• 微fine-tuning 중에 자기지도 인코더를 동결하여 붕괴를 방지하고 안정적인 표현 학습을 유지하기 위해.
• 백본 인코더로 BERT 또는 BiLSTM를 사용하며, 자기지도 학습에서 사전 훈련된 가중치의 기울기 간섭을 피하기 위해 BiLSTM를 선호한다.

실험 결과

연구 질문

• RQ1 외부 인과 문장에서 자기지도 표현 학습을 수행하면, 새로운 이벤트 쌍의 인과관계 식별 성능이 향상되는가?
• RQ2 대조적 전이 전략은 외부 문장에서 학습된 문맥에 특화된 인과 패턴을 하류 ECI 모델로 효과적으로 전이하는가?
• RQ3 외부 인과 문장을 활용하는 것이 이러한 데이터로의 직접 피팅 또는 전통적인 특징 기반 방법보다 우수한가?
• RQ4 제안된 방법은 레이블이 부족한 환경에서 얼마나 잘 일반화되는가?

주요 결과

• CauSeRL은 EventStoryLine과 Causal-TimeBank 양 벤치마크에서 최신 기준 성능을 달성하여, 각각 F1 점수를 +2.0과 +3.4 향상시켰다.
• 자기지도 표현 학습(SelfRL) 구성 요소를 제거하면 성능에 심각한 하락이 발생하여, 이는 문맥에 특화된 인과 패턴을 포착하는 데 핵심적인 역할을 한다는 것을 확인한다.
• 대조적 전이 전략(ConRT)은 필수적이다: 이를 제거하면 성능에 뚜렷한 하락이 발생하여, 직접적인 표현 사용은 적절한 정렬 없이 효과적이지 않다는 것을 보여준다.
• 외부 문장에서의 사전 훈련 없이도 대조적 전이 전략 자체만으로도 ECI 성능이 향상되며, 이는 지식 전이의 효과성을 시사한다.
• 레이블이 적은 Causal-TimeBank에서 모델 성능이 뚜렷이 향상되어, 이는 레이블이 부족한 상황에서의 방법의 가치를 입증한다.
• 사례 연구 결과 외부 인과 문장이 모델의 신뢰도를 높이고, 'notice'와 'alert' 이벤트 간의 잘못 분류된 관계를 수정하는 데 기여함을 보여주었다.