[논문 리뷰] ERGO: Event Relational Graph Transformer for Document-level Event Causality Identification

Meiqi Chen, Yixin Cao외 5명|arXiv (Cornell University)|2022. 04. 15.

Topic Modeling인용 수 15

한 줄 요약

ERGO는 완전한 이벤트 관계 그래프 상에서 원인관계를 노드 분류 문제로 모델링함으로써 문서 수준의 이벤트 원인관계 식별을 위한 새로운 이벤트 관계 그래프 트랜스포머 프레임워크를 제안한다. 이는 전이성과 적응형 포화 손실을 활용하여 추론 능력을 향상시키고 잘못된 양성 결과를 감소시킨다. 두 개의 벤치마크 데이터셋에서 이전 최고 성능 모델 대비 평균 F1 점수 13.1% 향상 달성.

ABSTRACT

Document-level Event Causality Identification (DECI) aims to identify causal relations between event pairs in a document. It poses a great challenge of across-sentence reasoning without clear causal indicators. In this paper, we propose a novel Event Relational Graph TransfOrmer (ERGO) framework for DECI, which improves existing state-of-the-art (SOTA) methods upon two aspects. First, we formulate DECI as a node classification problem by constructing an event relational graph, without the needs of prior knowledge or tools. Second, ERGO seamlessly integrates event-pair relation classification and global inference, which leverages a Relational Graph Transformer (RGT) to capture the potential causal chain. Besides, we introduce edge-building strategies and adaptive focal loss to deal with the massive false positives caused by common spurious correlation. Extensive experiments on two benchmark datasets show that ERGO significantly outperforms previous SOTA methods (13.1% F1 gains on average). We have conducted extensive quantitative analysis and case studies to provide insights for future research directions (Section 4.8).

연구 동기 및 목표

• 명확한 원인 지표가 없는 문서 수준의 이벤트 원인관계 식별(DECI) 문제를 해결하기 위해.
• 특히 허위 양성 결과를 초래하는 유사 상관관계에서 비롯된 양성 및 음성 이벤트 쌍 간의 불균형을 해결하기 위해.
• 구조화된 그래프에서 전이적 원인 체인을 모델링하여 문장 간 전역적 추론을 가능하게 하기 위해.
• 그래프 구축에 외부 도구나 사전 지식에 의존하지 않기 위해.
• 암묵적 및 문장 간 원인관계 탐지에서 일반화 능력과 견고성을 향상시키기 위해.

제안 방법

• 각 노드가 후보 이벤트 쌍을 나타내는 이벤트 관계 그래프를 구축하며, 노드들이 공통 이벤트를 공유할 경우에만 간선이 존재하여 전이성 제약 조건을 강제한다.
• DECI를 각 노드가 원인관계가 있음 또는 없음으로 예측하는 노드 분류 작업으로 공식화한다.
• 이벤트 쌍 간의 장거리 의존성과 관계 기반 인덕티브 바이어스를 포착하기 위해 관계 기반 그래프 트랜스포머(RGT)를 활용한다.
• 특히 유사 상관관계에서 기인하는 어려운 음성 샘플을 보다 강하게 처벌하기 위해 적응형 포화 손실을 도입한다.
• 의존성 구문 분석을 명시적으로 수행하지 않고도 주의 메커니즘을 통해 공명어 해결을 암묵적으로 통합하여 의미적 및 문법적 단서를 활용할 수 있도록 한다.
• 예측 과정에서 유용한 이웃 노드에 동적으로 주의를 기울이기 위해 자기 주의 메커니즘을 사용하여 복잡한 원인 체인에서의 추론 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 히우리스틱 기반 그래프 구조에 의존하지 않고도 다수의 문장에 걸쳐 전이적 원인 추론을 효과적으로 모델링할 수 있는가?
• RQ2 완전한 이벤트 관계 그래프 상에서의 노드 분류 프레임워크가 DECI에 있어 기존의 그래프 기반 또는 시퀀스 기반 모델보다 우월한가?
• RQ3 허위 양성 예측을 유도하는 유사 상관관계의 영향을 어떻게 줄일 수 있는가?
• RQ4 적응형 포화 손실이 극도로 불균형한 원인관계 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ5 현재 모델들이 암묵적 또는 모호한 원인관계를 탐지할 때 주로 발생하는 실패 유형은 무엇인가?

주요 결과

• ERGO는 문서 수준의 이벤트 원인관계 식별을 위한 두 개의 벤치마크 데이터셋에서 이전 최고 성능 모델 대비 평균 F1 점수 13.1% 향상 달성.
• 모델은 '고장'이 '정전'을 유도하고 '정전'이 '복구'를 유도할 경우 '고장'이 '복구'를 유도한다는 식으로 전이적 원인 체인을 성공적으로 식별한다.
• 간선 제약 조건과 적응형 포화 손실을 활용하여 '부상'과 '체포' 사이의 유사 상관관계를 정확히 구분한다.
• 사례 연구 결과, ERGO는 BERT보다 공명어 처리 및 문장 간 추론에서 뛰어난 성능을 보이며, 혼동 요소를 효과적으로 구분한다.
• 정량적 분석 결과, 모델의 주요 오류 원인은 암묵적 원인관계(오류의 30%), 부족한 시간적 차이 구분(33%), 모호한 애너테이션(14%) 순이다.
• 모델의 주의 메커니즘이 관련 이웃 노드를 효과적으로 강조함으로써 주의 시각화를 통해 향상된 추론 능력을 입증한다.