[논문 리뷰] Document-Level Event Argument Extraction by Conditional Generation

Sha Li, Heng Ji외 1명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 25인용 수 10

한 줄 요약

이 논문은 인코더-디코더 아키텍처를 사용하여 템플릿 채우기 방식으로 문서 수준 이벤트 인자 추출을 프레임워크화하는 조건부 생성 기반 신경 모델을 제안한다. RAMS에서 7.6%의 F1 향상과 WikiEvents에서 5.7%의 F1 향상을 달성하며, ACE의 10개 이벤트 유형만으로도 97%의 트리거 추출 및 82%의 인자 추출 성능을 달성하는 제로샷 전이 프레임워크를 도입한다.

ABSTRACT

Event extraction has long been treated as a sentence-level task in the IE community. We argue that this setting does not match human information-seeking behavior and leads to incomplete and uninformative extraction results. We propose a document-level neural event argument extraction model by formulating the task as conditional generation following event templates. We also compile a new document-level event extraction benchmark dataset WikiEvents which includes complete event and coreference annotation. On the task of argument extraction, we achieve an absolute gain of 7.6% F1 and 5.7% F1 over the next best model on the RAMS and WikiEvents datasets respectively. On the more challenging task of informative argument extraction, which requires implicit coreference reasoning, we achieve a 9.3% F1 gain over the best baseline. To demonstrate the portability of our model, we also create the first end-to-end zero-shot event extraction framework and achieve 97% of fully supervised model's trigger extraction performance and 82% of the argument extraction performance given only access to 10 out of the 33 types on ACE.

연구 동기 및 목표

• 문장 수준의 이벤트 추출 기법이 교차 문단 인자 및 공호성 추론을 포착하지 못하는 한계를 보완하기 위해 문서 수준의 접근 방식을 제안한다.
• 개별 실체 인식 또는 공호성 해소 모듈이 필요 없이 종단 간 인자 추출을 수행하는 신경 모델을 개발한다.
• 문서 수준 평가를 위한 완전한 이벤트 및 공호성 주석을 갖춘 새로운 벤치마크 데이터셋인 WikiEvents를 구축한다.
• 템플릿 기반 조건부 생성과 전이 학습을 활용하여 미세조정 없이도 제로샷 이벤트 추출을 가능하게 한다.
• 가장 정보성 있는 인자 언급을 문서 스팬 전반에서 식별함으로써 추출의 정보성 향상을 도모한다. 이는 단순히 가장 가까운 언급만을 고려하는 것과는 다릅니다.

제안 방법

• 이벤트 인자 추출을 조건부 생성 문제로 재정의한다: 주어진 문서와 이벤트 템플릿에 기반해 모델이 인자로 채워진 템플릿을 생성한다.
• 템플릿과 문서의 연결을 입력으로 받아 토큰 단위로 출력을 생성하는 시퀀스 투 시퀀스 모델(예: T5 기반)을 사용한다.
• 문서 또는 템플릿에서 직접 인자를 복사하며, 복사 메커니즘을 통해 소스 추적을 수행함으로써 외부 NER나 공호성 해소 모듈 없이 종단 간 학습이 가능하다.
• 명시적 공호성 추론이 필요한 더 어려운 '정보성 있는 인자 추출'이라는 새로운 작업을 도입하여, 대명사보다 이름 언급을 우선시하고 교차 문단 공호성 해석을 요구한다.
• 인자 모델과 키워드 기반 트리거 검출기의 조합을 통해 제로샷 전이를 가능하게 하여, 미세조정 없이도 알려지지 않은 이벤트 유형에 대해 추론이 가능하다.
• 외부 이벤트 온톨로지(예: 템플릿)를 조건부 조건으로 활용함으로써 다양한 이벤트 유형 간 파라미터 공유를 가능하게 하고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 조건부 생성 모델이 기존 문장 수준 및 교차 문단 인자 추출 방법보다 문서 수준 이벤트 추출에서 우월한 성능을 보일 수 있는가?
• RQ2 특히 인자들이 암시적 또는 대명사로 표현될 경우, 문서 스팬 전반에서 가장 정보성 있는 인자 언급을 얼마나 잘 식별하는가?
• RQ3 미세조정 없이도 제로샷 설정에서 알려지지 않은 이벤트 유형으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 외부 조건으로 템플릿을 사용할 경우, 모델의 성능 향상과 다양한 이벤트 유형 간 이식성 향상에 기여하는가?
• RQ5 복잡한 공호성 추론이 필요한 장문의 문서에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델은 RAMS 데이터셋에서 기존 최고 성능 모델 대비 절대 F1 점수 7.6% 향상률을 기록한다.
• WikiEvents 데이터셋에서 강력한 베이스라인 대비 F1 점수 5.7% 향상되어 새로운 문서 수준 벤치마크에서 뛰어난 성능을 입증한다.
• 암시적 공호성 추론이 필요한 더 어려운 정보성 인자 추출 작업에서는 최고의 베이스라인 대비 F1 점수 9.3% 향상률을 달성한다.
• 인자 모델과 키워드 기반 트리거 검출기를 조합한 제로샷 전이 프레임워크는 ACE 이벤트 유형 33개 중 10개만으로도 완전히 지도된 모델의 트리거 추출 성능의 97%와 인자 추출 성능의 82%를 달성한다.
• 트리거와 같은 문장 내에 위치한 인자 중 34.5%만이 정보성 있다고 간주되며, 이는 문서 수준의 추론이 필수적임을 시사한다.
• 모델은 문장 간 대명사가 명시적 실체로 정확히 연결되는 경우를 보여주며, 폭발 사건의 맥락에서 'he'가 'McVeigh'로 정확히 연결됨을 입증한다.