[논문 리뷰] Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction

Rujun Han, Ning Qiang외 1명|arXiv (Cornell University)|2019. 09. 02.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 공유된 문맥 표현과 정수 선형 프rogramming(정수형 선형계획법, ILP)을 통한 구조적 예측을 사용하여 엔드 투 엔드 이벤트 및 시간관계 추출을 위한 공동 신경망 모델을 제안한다. 이 방법은 이벤트 및 관계 예측을 구조적 제약(일致성 및 추이성)과 함께 공동으로 학습함으로써 오류 전파를 감소시키고, 기존 최고 성능 시스템 대비 TB-Dense에서 F1 점수를 10% 향상시키며, MATRES에서는 6.8% 향상시킨다.

ABSTRACT

We propose a joint event and temporal relation extraction model with shared representation learning and structured prediction. The proposed method has two advantages over existing work. First, it improves event representation by allowing the event and relation modules to share the same contextualized embeddings and neural representation learner. Second, it avoids error propagation in the conventional pipeline systems by leveraging structured inference and learning methods to assign both the event labels and the temporal relation labels jointly. Experiments show that the proposed method can improve both event extraction and temporal relation extraction over state-of-the-art systems, with the end-to-end F1 improved by 10% and 6.8% on two benchmark datasets respectively.

연구 동기 및 목표

• 이벤트 추출과 시간관계 분류를 별도로 수행하는 파이프라인 시스템에서 발생하는 오류 전파 문제를 해결하기 위해.
• 이벤트 및 관계 모듈 간에 문맥화된 임베딩과 신경 특징 학습기를 공유하여 이벤트 표현을 향상시키기 위해.
• 전역 제약 조건을 사용한 구조적 추론을 통해 이벤트와 시간관계를 엔드 투 엔드로 예측할 수 있도록 하기 위해.
• 공동 학습 시 구조적 제약 조건을 적용하면 이벤트 및 관계 추출 성능이 향상됨을 검증하기 위해.
• 특히 VAGUE 관계와 저신뢰도 이벤트 탐지에 대한 실패 유형을 분석하고 한계를 규명하기 위해.

제안 방법

• 이벤트 및 관계 모듈의 공통 입력 표현으로 BERT 기반 문맥화된 임베딩을 사용한다.
• 동일한 입력에서 두 작업 모두를 위해 깊은 특징을 추출하기 위해 공유된 신경 표현 학습기를 활용한다.
• 이벤트-관계 일치성 및 시간적 추이성과 같은 전역 제약 조건을 강제하기 위해 정수 선형 프로그래밍(ILP)을 통한 구조적 예측을 적용한다.
• 전역 레이블 일치성을 확보하기 위해 엔드 투 엔드 공동 학습을 위한 구조적 서포트 벡터 머신(SSVM)을 구현한다.
• 비이벤트-비이벤트 또는 이벤트-비이벤트 쌍 간의 관계는 반드시 NONE이어야 하며, 시간적 순환은 허용되지 않는다.
• 신뢰도 임계값을 사용하여 낮은 점수의 이벤트 예측을 필터링하고, 공동 추론을 적용하여 잘못 분류된 이벤트를 수정한다.

실험 결과

연구 질문

• RQ1 파이프라인 시스템에서 발생하는 오류 전파 문제를 해결하기 위해 이벤트 및 시간관계 추출을 공동으로 학습할 수 있는가?
• RQ2 이벤트 및 관계 모듈 간에 표현을 공유하면 두 작업 모두의 성능 향상에 기여하는가?
• RQ3 전역 제약 조건(일치성 및 추이성)을 갖춘 구조적 예측이 엔드 투 엔드 추출 정확도를 향상시킬 수 있는가?
• RQ4 다양한 구조적 제약 조건(예: 일치성 대비 추이성)이 성능 향상에 어떤 기여를 하는가?
• RQ5 공동 이벤트 및 관계 예측에서 주요 실패 유형은 무엇이며, 특히 VAGUE 관계와 저신뢰도 이벤트에 대해 어떤 한계가 있는가?

주요 결과

• 제안된 공동 모델은 CAEVO 기준 대비 TB-Dense 데이터셋에서 엔드 투 엔드 F1 점수를 10% 향상시켰다.
• MATRES 데이터셋에서는 CogCompTime 기준 대비 6.8%의 엔드 투 엔드 F1 점수 향상을 달성했다.
• 이벤트-관계 일치성 제약 조건이 크게 기여하였으며, TB-Dense에서는 F1 점수를 0.9% 향상시키고, MATRES에서는 1.0% 향상시켰다.
• 추이성 제약 조건은 최소한의 성능 향상을 가져왔는데, 이는 BERT의 문맥 모델링 능력과 NONE 관계의 존재 때문일 가능성이 높다.
• 가장 흔한 실패 유형은 유형 1 오류(거짓 비이벤트)와 유형 2 오류(비이벤트에 대한 거짓 양성 관계)이며, 이는 이벤트 탐지의 신뢰도에 한계가 있음을 시사한다.
• VAGUE 관계는 주요 과제로, 특히 엔드 투 엔드 설정에서 NONE 쌍과 함께 혼동되는 경향이 있어, 다른 시간관계와 쉽게 오인된다.