[논문 리뷰] EventPlus: A Temporal Event Understanding Pipeline

Mingyu Derek, Jiao Sun외 6명|arXiv (Cornell University)|2021. 01. 13.

Topic Modeling참고 문헌 49인용 수 6

한 줄 요약

EventPlus는 시간적 사건 이해를 위한 첫 번째 종합적인 파이프라인으로, 사건 트리거 및 유형 검출, 인자 식별, 사건 지속 기간 추정, 시간 관계 추출을 위한 최첨단 모델을 통합한다. 입력 텍스트에 대해 종단 간 고정밀도 주석을 제공하며, SciBERT-FT와 같은 도메인 적응 모델을 사용해 생물의학 분야로의 확장 기능을 제공한다.

ABSTRACT

We present EventPlus, a temporal event understanding pipeline that integrates various state-of-the-art event understanding components including event trigger and type detection, event argument detection, event duration and temporal relation extraction. Event information, especially event temporal knowledge, is a type of common sense knowledge that helps people understand how stories evolve and provides predictive hints for future events. EventPlus as the first comprehensive temporal event understanding pipeline provides a convenient tool for users to quickly obtain annotations about events and their temporal information for any user-provided document. Furthermore, we show EventPlus can be easily adapted to other domains (e.g., biomedical domain). We make EventPlus publicly available to facilitate event-related information extraction and downstream applications.

연구 동기 및 목표

• 자연어 텍스트에서 종합적인 시간적 사건 이해를 위한 통합 시스템 부족 문제를 해결하기 위해.
• 다양한 최첨단 구성 요소를 통합한 통합 파이프라인을 개발하여 사건 추출, 시간 관계, 지속 기간, 인자들을 통합하기 위해.
• 다양한 도메인 적용 가능성을 보장하며, 특히 도메인 특화 미세조정을 통해 생물의학 텍스트로의 확장하기 위해.
• 연구자 및 실무자들이 원시 텍스트에서 풍부한 사건 중심 지식을 추출할 수 있도록 공개 접근이 가능하고 사용자 친화적인 도구를 제공하기 위해.
• 질문 응답, 스토리 생성, 예측과 같은 후행 응용 프로그램을 위해 구조화된 시간적 사건 주석을 지원하기 위해.

제안 방법

• EventPlus는 BERT 임베딩과 공유 BiLSTM 인코딩을 사용하여 이벤트 트리거 검출과 시간 관계 예측을 동시에 수행하는 다중 작업 학습 모델을 활용한다.
• 이중적인 이벤트 표현 모델을 사용한다: 하나는 정의된 온톨로지 기반의 트리거 기반 이벤트 검출을 위한 것이고, 다른 하나는 ACE 온톨로지 기반의 의미적으로 풍부한 이벤트 구조(유형 및 인자 포함)를 위한 것이다.
• 지속 기간은 이벤트 스펜을 지속 기간 카테고리(예: 짧음, 길음, 불확정)로 분류하는 전용 모델을 사용하여 예측한다.
• 가설성 및 부정 탐지 모듈을 포함하여 이벤트가 가설적인지 또는 부정된 상태인지 식별함으로써 맥락적 정확도를 향상시킨다.
• 도메인 적응을 위해 EventPlus는 공유 임베딩을 사용하는 다중 도메인 훈련(MDT)과 생물의학 텍스트를 위한 도메인 특화 모델인 SciBERT-FT로의 교체를 모두 지원한다.
• 모든 구성 요소는 원시 텍스트를 처리하고 이벤트 트리거, 인자, 시간 관계(그래프 형태), 지속 기간 레이블 등을 포함한 결과를 시각화하는 단일 파이프라인에 통합되어 있다.

실험 결과

연구 질문

• RQ1 통합 파이프라인이 종합적인 시간적 사건 이해를 위한 여러 최첨단 구성 요소를 효과적으로 통합할 수 있는가?
• RQ2 단일 작업 기반 모델 대비 다중 작업 학습 접근 방식이 이벤트 트리거 및 시간 관계 추출에서 성능을 얼마나 향상시키는가?
• RQ3 성능 저하 없이 EventPlus가 새로운 도메인, 예를 들어 생물의학 분야로 얼마나 잘 적응할 수 있는가?
• RQ4 생물의학 이벤트 추출에서 도메인 특화 미세조정(SchBERT-FT)이 다중 도메인 훈련(MDT)보다 어떻게 비교되는가?
• RQ5 시스템이 후행 NLP 응용 프로그램을 위해 일관되고 구조적이며 실행 가능한 사건 중심 지식을 제공할 수 있는가?

주요 결과

• EventPlus는 벤치마크 데이터셋에서 검증된 결과로, 이벤트 트리거 검출, 시간 관계 추출, 지속 기간 예측 등 모든 통합 구성 요소에서 최첨단 성능을 달성한다.
• 이벤트 트리거 및 시간 관계 추출을 위한 다중 작업 학습 모델은 단일 작업 기반 베이스라인 대비 두 작업 모두에서 성능 향상을 보이며, 공유 맥락 표현의 이점을 입증한다.
• 생물의학 분야에서 GENIA 개발 세트에서 SciBERT-FT는 다중 도메인 훈련(MDT)보다 성능이 뛰어나, 도메인 내 미세조정이 더 우수한 결과를 낳음을 시사한다.
• 일반 도메인 이벤트 추출 모델을 SciBERT-FT로 교체함으로써 시스템은 과학 문헌에서 정확한 사건 검출을 가능하게 하여 생물의학 텍스트로의 성공적인 확장이 이루어졌다.
• EventPlus는 트리거, 인자, 지속 기간, 시간 관계를 포함한 구조화된 사건 지식을 출력하는 완전한 종단 간 솔루션을 제공하며, 기존 도구에서는 제공되지 않는 기능이다.
• 시스템은 https://kairos-event.isi.edu 에서 공개 제공되며, 사용자 친화적 인터페이스와 소개 영상도 함께 제공되어 연구 및 응용 분야 전반에서의 도입을 촉진한다.