[논문 리뷰] DEGREE: A Data-Efficient Generative Event Extraction Model

I-Hung Hsu, Kuan-Hao Huang외 5명|arXiv (Cornell University)|2021. 08. 29.

Topic Modeling참고 문헌 24인용 수 15

한 줄 요약

이 논문은 이벤트 타입별 템플릿을 사용하여 이벤트 추출을 텍스트 생성 작업으로 공식화하는 데이터 효율적인 이벤트 추출 모델인 DEGREE를 제안한다. 사전 훈련, 순차적 생성, 구조적 템플릿을 활용함으로써 DEGREE는 저데이터 환경에서 최신 기술 수준의 성능을 달성하고 더 많은 데이터가 있는 경우에도 경쟁력 있는 결과를 내며, 데이터가 부족한 설정에서 강력한 베이스라인을 능가한다.

ABSTRACT

Event extraction (EE) aims to identify structured events, including event triggers and their corresponding arguments, from unstructured text. Most of the existing works rely on a large number of labeled instances to train models, while the labeled data could be expensive to be obtained. In this work, we present a data-efficient event extraction method by formulating event extraction as a natural language generation problem. The formulation allows us to inject knowledge of label semantics, event structure, and output dependencies into the model. Given a passage and an event type, our model learns to summarize this passage into a templated sentence in a predefined structure. The template is event-type-specific, manually created, and contains event trigger and argument information. Lastly, a rule-based algorithm is used to derive the trigger and argument predictions from the generated sentence. Our method inherently enjoys the following benefits: (1) The pretraining of the generative language models help incorporate the semantics of the labels for generative EE. (2) The autoregressive generation process and our end-to-end design for extracting triggers and arguments force the model to capture the dependencies among the output triggers and their arguments. (3) The predefined templates form concrete yet flexible rules to hint the models about the valid patterns for each event type, reducing the models' burden to learn structures from the data. Empirical results show that our model achieves superior performance over strong baselines on EE tasks in the low data regime and achieves competitive results to the current state-of-the-art when more data becomes available.

연구 동기 및 목표

• 큰 레이블이 붙은 데이터셋에 대한 의존도를 줄임으로써 이벤트 추출의 높은 레이블링 비용 문제를 해결한다.
• 학습 과정에 구조적이고 의미적인 지식을 통합함으로써 저자원 환경에서 모델의 일반화 능력을 향상시킨다.
• 통합된 생성 프레임워크를 통해 이벤트 트리거와 인자들을 종단 간 공동으로 추출할 수 있도록 한다.
• 수동으로 작성된 이벤트 타입별 템플릿을 사용하여 모델이 데이터로부터 이벤트 구조를 학습하는 부담을 줄인다.
• 순차적 생성을 통해 트리거와 인자 간의 종속성을 모델링함으로써 출력 종속성 모델링을 향상시킨다.

제안 방법

• 모델이 이벤트를 기술하는 템플릿 문장을 생성하도록, 이벤트 추출을 시퀀스에서 시퀀스로의 생성 작업으로 공식화한다.
• 이벤트 타입별로 수작업으로 설계된 템플릿을 사용하여 트리거 및 인자 슬롯을 통합하여 구조적 출력을 제공한다.
• 레이블의 의미적 특성과 맥락적 이해를 생성 과정에 통합하기 위해 사전 훈련된 생성형 언어 모델을 활용한다.
• 트리거와 인자 간의 종속성을 종단 간에 모델링하기 위해 순차적 생성 기반 메커니즘을 적용한다.
• 생성된 문장에서 예측된 트리거와 인자를 추출하기 위해 규칙 기반 후처리 단계를 적용한다.
• 템플릿을 통한 구조적 인덕티브 바이어스 통합을 통해 모델이 광범위한 데이터 없이도 유효한 이벤트 패턴을 향해 유도된다.

실험 결과

연구 질문

• RQ1 이벤트 추출을 텍스트 생성 작업으로 공식화함으로써 저자원 환경에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 사전 정의된 이벤트 타입별 템플릿의 사용이 모델 생성을 이끌고 성능 향상에 얼마나 효과적인가?
• RQ3 순차적 생성이 트리거와 인자 간의 종속성을 얼마나 잘 포착하는가?
• RQ4 사전 훈련과 템플릿을 통한 레이블 의미와 구조 지식 통합이 일반화 능력을 향상시키는가?
• RQ5 제안된 방법은 저데이터 및 고데이터 환경 모두에서 강력한 베이스라인과 어떻게 비교되는가?

주요 결과

• DEGREE는 저데이터 환경에서 강력한 베이스라인보다 뛰어난 성능을 달성한다.
• 더 많은 레이블 데이터가 제공될 경우, 최신 기술 수준의 방법과 경쟁하는 성능을 유지한다.
• 템플릿의 사용은 모델이 데이터로부터 이벤트 구조를 학습할 필요성을 크게 줄여 데이터 효율성을 향상시킨다.
• 순차적 생성은 비생성적 접근 방식에 비해 트리거와 인자 간의 종속성을 더 잘 모델링할 수 있도록 한다.
• 대규모 텍스트에서의 사전 훈련은 레이블 의미를 포착함으로써 저자원 환경에서의 일반화 능력을 향상시킨다.
• 규칙 기반 후처리 단계는 생성된 문장에서 높은 정밀도로 구조적 예측을 효과적으로 추출한다.