[논문 리뷰] Document-level Event-based Extraction Using Generative Template-filling Transformers.

Xinya Du, Alexander M. Rush외 1명|arXiv (Cornell University)|2020. 08. 21.

Topic Modeling참고 문헌 28인용 수 13

한 줄 요약

이 논문은 문장 경계를 넘는 맥락을 모델링하고, 핵심어 관계를 암묵적으로 포착하며, 템플릿 구조를 존중하는 생성형 트랜스포머 기반의 인코더-디코더 프레임워크를 제안한다. MUC-4에서 평가된 결과, 문장 수준의 기존 방법보다 우수한 성능을 달성하였으며, 이는 교차 문장 맥락과 암묵적인 언어 지식을 활용한 결과이다.

ABSTRACT

We revisit the classic information extraction problem of document-level template filling. We argue that sentence-level approaches are ill-suited to the task and introduce a generative transformer-based encoder-decoder framework that is designed to model context at the document level: it can make extraction decisions across sentence boundaries; is \emph{implicitly} aware of noun phrase coreference structure, and has the capacity to respect cross-role dependencies in the template structure. We evaluate our approach on the MUC-4 dataset, and show that our model performs substantially better than prior work. We also show that our modeling choices contribute to model performance, e.g., by implicitly capturing linguistic knowledge such as recognizing coreferent entity mentions. Our code for the evaluation script and models will be open-sourced at https://github.com/xinyadu/doc_event_entity for reproduction purposes.

연구 동기 및 목표

• 문장 수준의 정보 추출 기법이 문서 수준의 맥락을 포착하는 데에 한계가 있음을 해결하기 위해.
• 문장 경계를 넘어서는 추출 결정을 내릴 수 있는 방법을 개발하기 위해.
• 이벤트 템플릿 내의 명사구 핵심어 관계와 교차 역할 의존성을 암묵적으로 모델링하기 위해.
• 장거리 맥락과 구조 인식 능력을 활용하여 템플릿 채우기 성능을 향상시키기 위해.
• 생성 모델링이 문서 수준의 이벤트 추출에서 전통적인 시퀀스 레이블링 기법보다 우수할 수 있음을 입증하기 위해.

제안 방법

• 문서 텍스트에서 직접 이벤트 템플릿을 생성하기 위해 트랜스포머 기반의 인코더-디코더 아키텍처를 사용한다.
• 자기회귀적 생성 과정을 활용하여 문장 간 의존성과 템플릿 내 역할 간 의존성을 모델링한다.
• 전체 문서 맥락을 조건으로 삼는 시퀀스 투 시퀀스 프레임워크를 활용하여 이벤트 추출을 수행한다.
• 명시적인 핵심어 해결 모듈 없이도 학습 과정에서 언급 표현을 학습함으로써 핵심어 관계를 암묵적으로 포착한다.
• 구조적 순서에 따라 슬롯 값의 자기회귀적 생성을 통해 템플릿 내 교차 역할 의존성을 모델링한다.
• 모델이 맥락적 및 구조적 패턴을 학습할 수 있도록 종단 간 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 생성형 시퀀스 투 시퀀스 모델이 문서 수준의 이벤트 추출에서 기존 문장 수준의 추출 기법보다 우수한 성능을 낼 수 있는가?
• RQ2 생성 모델이 명시적인 모델링 없이 핵심어 해결을 얼마나 잘 암묵적으로 학습할 수 있는가?
• RQ3 이벤트 템플릿 내 교차 역할 의존성을 모델링하는 데에 모델의 효과는 어떠한가?
• RQ4 문서 수준의 맥락을 모델링하는 것이 추출 성능 향상에 상당한 기여를 하는가?
• RQ5 장거리 맥락과 구조 인식 능력이 최종 결과에 어떤 기여를 하는가?

주요 결과

• 제안된 모델은 MUC-4 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전의 문장 수준 접근 방식보다 뚜렷하게 뛰어난 성능을 보였다.
• 명시적인 핵심어 해결 구성 요소가 없이도 모델이 핵심어로 연결된 실체 언급을 암묵적으로 인식하는 데 성공하였다.
• 교차 문장 맥락 모델링이 이벤트 추출 정확도 향상에 상당한 기여를 하였다.
• 생성 프레임워크는 생성 과정에서 템플릿 구조를 효과적으로 존중하고 교차 역할 의존성을 강제하였다.
• 제거 실험 결과, 문서 수준의 맥락과 자기회귀적 생성 방식이 성능 향상의 핵심 기여 요소임을 확인하였다.
• 모델의 성능은 탄탄하고 일반화 능력이 뛰어나, 오픈소스 평가 스크립트와 모델을 통해 결과가 검증되었다.