[논문 리뷰] EventBERT: A Pre-Trained Model for Event Correlation Reasoning

Yucheng Zhou, Xiubo Geng외 3명|arXiv (Cornell University)|2021. 10. 13.

Topic Modeling인용 수 9

한 줄 요약

EventBERT는 이벤트가 풍부한 단락으로 구성된 대규모 코퍼스를 채굴하고, 세 가지 새로운 자기지도 학습 목표를 도입함으로써 레이블이 없는 텍스트에서 이벤트 상관관계 추론을 학습하는 사전 훈련된 언어 모델이다: 상관관계 기반 이벤트 순서 정렬, 모순 이벤트 태깅, 논의 관계 순서 정렬. 이는 네 가지 종류의 후행 작업에서 최신 기술 성능을 달성하며, 제로샷 설정에서 강력한 베이스라인보다 최대 23% 높은 성능을 보였다.

ABSTRACT

Event correlation reasoning infers whether a natural language paragraph containing multiple events conforms to human common sense. For example, "Andrew was very drowsy, so he took a long nap, and now he is very alert" is sound and reasonable. In contrast, "Andrew was very drowsy, so he stayed up a long time, now he is very alert" does not comply with human common sense. Such reasoning capability is essential for many downstream tasks, such as script reasoning, abductive reasoning, narrative incoherence, story cloze test, etc. However, conducting event correlation reasoning is challenging due to a lack of large amounts of diverse event-based knowledge and difficulty in capturing correlation among multiple events. In this paper, we propose EventBERT, a pre-trained model to encapsulate eventuality knowledge from unlabeled text. Specifically, we collect a large volume of training examples by identifying natural language paragraphs that describe multiple correlated events and further extracting event spans in an unsupervised manner. We then propose three novel event- and correlation-based learning objectives to pre-train an event correlation model on our created training corpus. Empirical results show EventBERT outperforms strong baselines on four downstream tasks, and achieves SoTA results on most of them. Besides, it outperforms existing pre-trained models by a large margin, e.g., 6.5~23%, in zero-shot learning of these tasks.

연구 동기 및 목표

• 자연어에서 이벤트 상관관계 추론을 위한 다양하고 풍부한 공통 지식의 부족 문제를 해결하기 위해.
• 토큰 수준의 패tern에 의존하지 않고, 이벤트 간의 논리적이고 논의적 관계를 포착하는 사전 훈련 모델을 개발하기 위해.
• 대규모 레이블이 없는 코퍼스에서 이벤트가 풍부하고 상관관계가 있는 단락을 효율적으로 수집하는 스케일 수 있는 비지도 방법을 만들기 위해.
• 이벤트 상관관계를 명시적으로 모델링하는 자기지도 학습 목표를 설계하여, 표준 마스크된 언어 모델링을 넘어서는 추론 성능 향상을 위해.
• 특정 작업에 맞는 미세조정 없이도 강력한 제로샷 및 피셔샷 성능을 달성할 수 있도록 하기 위해.

제안 방법

• EventBERT는 비지도 필터링 및 이벤트 스팬 탐지 기반으로 자동으로 구성된 대규모 자연어 단락 코퍼스에서 사전 훈련되며, 이 단락들은 다수의 상관관계가 있는 이벤트를 포함한다.
• 모델은 세 가지 새로운 자기지도 학습 목표를 사용한다: (1) 상관관계 기반 이벤트 순서 정렬은 타당한 이벤트 순서를 학습하고, (2) 모순 이벤트 태깅은 일관성이 없는 이벤트 쌍을 식별하며, (3) 논의 관계 순서 정렬은 인과적 또는 시간적과 같은 이벤트 관계를 분류한다.
• 훈련 과정은 RoBERTa에서 시작하여 채굴된 BookCorpus에서 이벤트 수준의 표현에 중점을 두고 지속적인 사전 훈련을 수행한다.
• 이벤트 스팬은 비지도 이벤트 추출 파이프라인을 사용하여 단락 내에서 명시적으로 식별되며, 이는 모델이 이벤트를 의미 단위로 추론할 수 있도록 한다.
• 모델 아키텍처는 BERT 기반이며, 스토리 클로즈 및 추론적 추론과 같은 후행 작업을 위한 미세조정된 헤드 레이어를 포함한다.
• 평가에는 제로샷 추론과 피셔샷 미세조정이 포함되며, 여러 벤치마크에서 RoBERTa 및 기타 강력한 베이스라인과의 성능 비교가 이루어진다.

실험 결과

연구 질문

• RQ1 레이블이 없는 텍스트에서 인간이 애너테이션한 이벤트 관계 없이도 사전 훈련된 모델이 견고한 이벤트 상관관계 추론을 학습할 수 있는가?
• RQ2 표준 마스크된 언어 모델링과 비교해 볼 때, 이벤트 인식 기반의 상관관계 기반 자기지도 학습 목표는 이벤트 수준의 공통 지식을 얼마나 효과적으로 포착하는가?
• RQ3 이벤트 상관관계 데이터에서 사전 훈련된 모델이 후행 추론 작업에서 제로샷 및 피셔샷 설정으로 얼마나 잘 일반화되는가?
• RQ4 명시적인 이벤트 경계 탐지 및 상관관계 목표를 포함함으로써, 표준 사전 훈련 파라다임에 비해 추론 성능이 향상되는가?
• RQ5 기존 베이스라인 대비 제한된 미세조정 데이터로 모델의 성능가 어떻게 변화하는가?

주요 결과

• EventBERT는 스토리 클로즈, 스크립트 추론, 서사 불일치 탐지, 추론적 추론의 네 가지 후행 이벤트 추론 작업에서 최신 기술 성능을 달성한다.
• 제로샷 설정에서 EventBERT는 RoBERTa보다 모든 작업에서 6.5%에서 23%까지 절대적 점수 향상을 보이며, 사전 훈련에서의 강력한 일반화 능력을 입증한다.
• 학습 데이터의 10%만으로도 EventBERT는 전체 데이터로 미세조정된 RoBERTa와 유사한 성능을 달성하며, 높은 데이터 효율성을 보여준다.
• 제거 실험 결과, 제안된 세 가지 목표(CER, CET, DRR) 중 어느 하나라도 제거하면 성능이 저하되며, 특히 상관관계 기반 이벤트 순서 정렬(CER)이 가장 큰 영향을 미치며(이를 생략할 경우 2.36% 감소), 그 중요성을 입증한다.
• EventBERT는 표준 스팬 기반 마스크된 언어 모델링(이벤트 스팬 MLM)을 사용한 베이스라인보다 3% 높은 성능을 보이며, 이벤트 상관관계 전용 목표의 우수성을 입증한다.
• 구축한 코퍼스에 대한 평가 결과, 동일한 데이터를 사용해 MLM으로 미세조정된 RoBERTa 역시 이벤트 상관관계를 학습하지 못함을 확인하여, 이 작업의 어려움과 비트레이드성(비단순성)을 확인한다.