[논문 리뷰] Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction

Rui Feng, Jie Yuan외 1명|arXiv (Cornell University)|2020. 10. 21.

Topic Modeling참고 문헌 44인용 수 19

한 줄 요약

이 논문은 텍스트 유추와 질의 응답을 활용하여 소수 샘플(event extraction)을 위한 독해 프레임워크를 제안한다. 이는 이벤트 탐지 문제를 텍스트 유추로, 역할 탐지 문제를 질의 응답으로 재구성함으로써 사전 학습된 BERT 모델을 활용해 작업 및 레이블의 의미를 정제한다. 이 방법은 전수 supervision 하에서 ACE 2005 벤치마크에서 최고 성능을 기록하며, 제로샷 및 소수 샘플 설정에서도 뛰어난 성능을 보여, 효과적인 지식 전이와 레이블 효율성을 입증한다.

ABSTRACT

We study the problem of event extraction from text data, which requires both detecting target event types and their arguments. Typically, both the event detection and argument detection subtasks are formulated as supervised sequence labeling problems. We argue that the event extraction models so trained are inherently label-hungry, and can generalize poorly across domains and text genres.We propose a reading comprehension framework for event extraction.Specifically, we formulate event detection as a textual entailment prediction problem, and argument detection as a question answer-ing problem. By constructing proper query templates, our approach can effectively distill rich knowledge about tasks and label semantics from pretrained reading comprehension models. Moreover, our model can be fine-tuned with a small amount of data to boost its performance. Our experiment results show that our method performs strongly for zero-shot and few-shot event extraction, and it achieves state-of-the-art performance on the ACE 2005 benchmark when trained with full supervision.

연구 동기 및 목표

• 이벤트 추출을 위한 전통적인 감독 시퀀스 레이블링 모델의 레이블 의존성 문제를 해결하기 위해.
• 큰 규모의 주석 데이터셋에 의존도를 줄임으로써 다양한 도메인과 텍스트 장르 간 일반화 능력을 향상시키기 위해.
• 사전 학습된 언어 모델에서의 지식 정제를 통해 효과적인 제로샷 및 소수 샘플 이벤트 추출을 가능하게 하기 위해.
• 트리거어 단어 의존성에서 이벤트 및 역할 탐지를 분리함으로써 더 유연하고 강력한 추출을 가능하게 하기 위해.
• 프로빙 및 미세조정을 통한 사전 학습 모델의 이벤트 추출으로의 이식 가능성 탐색을 위해.

제안 방법

• 이벤트 탐지를 텍스트 유추 예측 작업으로 재구성: 문장과 이벤트 발생을 주장하는 가설이 주어졌을 때, 가설이 문장에 의해 함의되는지 예측한다.
• 역할 탐지를 질의 응답 작업으로 재구성: 이벤트의 역할에 대해 자연어 질의를 생성하고(예: '운반은 어디에서 이루어졌는가?'), 입력 문장에서 스파닝 답변을 추출한다.
• 텍스트 유추 및 QA 헤드 모두에 사전 학습된 BERT 모델을 백본으로 사용하여 풍부한 의미적 지식과 세계 지식을 전이한다.
• 각 이벤트 유형과 역할 역할에 대해 쿼리 템플릿을 구축하여 작업 전용 및 레이블 전용 의미를 모델에 유도한다.
• 소량의 주석 데이터로 엔드 투 엔드 모델을 미세조정하여 특정 이벤트 추출 작업에 적응시킨다.
• 미세조정 이전에 BERT에서 이벤트 유형과 역할 역할에 대한 지식을 분석하고 정제하기 위해 프로빙 기법을 활용한다.

실험 결과

연구 질문

• RQ1 소수 샘플 및 제로샷 일반화를 향상시키기 위해 이벤트 추출을 독해 과제로 효과적으로 재구성할 수 있는가?
• RQ2 텍스트 유추와 질의 응답 구성 요소가 사전 학습된 언어 모델에서 이벤트 추출으로 지식을 얼마나 잘 전이하는가?
• RQ3 트리거어 식별에서 역할 탐지를 분리함으로써 자원이 제한된 환경에서의 강건성과 성능 향상이 이루어지는가?
• RQ4 템플릿 기반 쿼리가 이벤트 및 역할 유형에 대한 일반화 가능한 표현을 학습하는 데 얼마나 효과적인가?
• RQ5 제로샷, 소수 샘플, 그리고 전수 supervision 성능 측면에서 제안된 프레임워크가 시퀀스 레이블링 기반 모델보다 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 전수 supervision 하에서 ACE 2005 벤치마크에서 최고 성능을 기록하며, 기존의 시퀀스 레이블링 모델을 능가한다.
• 모델은 소수 샘플 일반화 능력이 뛰어나, 이벤트 유형당 몇 개의 주석 예제만으로도 높은 성능을 달성한다.
• 제로샷 설정에서도 경쟁력 있는 성능을 보이며, BERT에서 정제된 지식 덕분에 타겟 데이터에 대한 미세조정 없이도 일반화가 가능함을 보여준다.
• 작업 전용 템플릿으로 BERT를 프로빙하는 것은 이벤트 유형과 역할 역할에 대한 의미적 및 구조적 지식을 효과적으로 포착한다.
• 최소한의 데이터로 모델을 미세조정하면 성능 향상이著명하게 향상되며, 정제된 지식의 효과성을 확인한다.
• 모델은 도메인 이동에 강건하며, 노이즈가 많은 트리거어 주석에 대한 의존도를 줄여 일관성과 일반화 능력을 향상시킨다.