[논문 리뷰] DEER: A Data Efficient Language Model for Event Temporal Reasoning.

Rujun Han, Xiang Ren외 1명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling인용 수 14

한 줄 요약

DEER는 이벤트 시간적 추론 작업을 위해 특별히 설계된 데이터 효율적인 언어 모델로, 저자원 환경에서 성능을 향상시키기 위해 생성자-판별자 아키텍처를 활용한다. 시간 관계에 중점을 둔 합성 훈련 데이터를 생성함으로써 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Pretrained language models (LMs) such as BERT, RoBERTa, and ELECTRA are effective at improving the performances of a variety of downstream NLP tasks. Recently, researchers have incorporated domain and task-specific knowledge in these LMs' training objectives and further enhanced models' capability of handling downstream tasks. However, none of these LMs are designed specifically for event temporal reasoning. We propose DEER, a language model that is trained to focus on event temporal relations and performs better under low-resource settings than original LMs. More specifically, we create a large number of training samples to simulate the machine reading comprehension and information extraction tasks for event temporal understanding and leverage a generator-discriminator structure to reinforce the LMs' capability of event temporal reasoning. Our experimental results show that DEER can achieve SOTA results and works particularly well in low-resource settings across 5 widely used datasets.

연구 동기 및 목표

• 이벤트 시간적 추론 작업에 특화된 언어 모델의 부족을 해결하기 위해.
• 라벨이 부족한 저자원 조건에서 모델 성능을 향상시키기 위해.
• 이벤트 간 시간 관계에 전적으로 초점을 맞춘 훈련 전략을 개발하기 위해.
• 사전 훈련된 언어 모델의 기계적 독해 및 정보 추출 능력을 시간적 이해 측면에서 향상시키기 위해.

제안 방법

• 기계적 독해 및 정보 추출 작업을 시뮬레이션하는 훈련 샘플을 생성하여 대규모 합성 데이터셋을 구축하기 위해.
• 이벤트 간 시간 관계에 대한 추론 능력을 향상시키기 위해 생성자-판별자 아키텍처를 활용하기 위해.
• 이벤트 순서와 시간적 의존성에 중점을 둔 합성 데이터로 언어 모델을 피나이팅하기 위해.
• 시간적 추론 능력을 강화하기 위해 작업별 지식을 사전 훈련 목표에 통합하기 위해.
• 생성자가 시간 관계 예측을 생성하고 판별자가 그 정확성을 평가하는 이중 스트림 훈련 메커니즘을 사용하기 위해.
• 컨트라스트 학습 목표를 최적화하여 맥락 내에서 올바른 시간 관계와 잘못된 시간 관계를 구분하도록 모델을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 시간적 관계에 중점을 둔 합성 데이터로 사전 훈련된 언어 모델이 저자원 환경에서 표준 언어 모델보다 우수한 성능을 내는가?
• RQ2 표준 피나이팅과 비교할 때 생성자-판별자 아키텍처가 시간적 추론 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 시간 관계 데이터로 작업별 사전 훈련을 수행하면 다양한 이벤트 시간적 추론 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ4 라벨이 제한된 저자원 시나리오에서 DEER의 일반화 능력은 어느 정도인가?

주요 결과

• DEER는 다섯 가지 널리 사용되는 이벤트 시간적 추론 데이터셋에서 최신 기술 수준 성능을 달성한다.
• BERT와 RoBERTa와 같은 원본 사전 훈련된 언어 모델에 비해 저자원 환경에서 뛰어난 성능을 보인다.
• 생성자-판별자 훈련 방식이 올바른 시간 관계 예측 능력을 크게 향상시킨다.
• 시간적 추론을 위한 합성 데이터 생성은 후행 작업 정확도 향상에 명백한 기여를 한다.
• 제한된 레이블 예제가 있는 상황에서도 DEER는 강력한 성능을 유지하여 데이터 효율성의 우수함을 입증한다.
• 모델의 성능 향상은 특히 라벨이 부족한 상황에서 가장 두드러지며, 이는 데이터 부족 환경을 고려한 설계 목표를 확인한다.