[논문 리뷰] Textual Entailment for Event Argument Extraction: Zero- and Few-Shot with Multi-Source Learning

Oscar Sainz, Itziar González-Dios외 3명|arXiv (Cornell University)|2022. 05. 03.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 다중 NLI 데이터셋에서의 다중 소스 사전 훈련을 통해 제로샷 및 패기샷 설정에서 약 90% 감소된 주석 필요성을 갖는, 텍스트 함의 기반 프레임워크를 제안한다. 이는 이벤트 인자 추출(EAE)을 위한 것이다. 언어화된 템플릿을 사용해 EAE를 함의로 재정의함으로써, ACE와 WikiEvents에서 최신 성능을 달성하면서도 스키마 의존성을 최소화하고, 최소한의 인간 노력으로 도메인 간 전이를 가능하게 한다.

ABSTRACT

Recent work has shown that NLP tasks such as Relation Extraction (RE) can be recasted as Textual Entailment tasks using verbalizations, with strong performance in zero-shot and few-shot settings thanks to pre-trained entailment models. The fact that relations in current RE datasets are easily verbalized casts doubts on whether entailment would be effective in more complex tasks. In this work we show that entailment is also effective in Event Argument Extraction (EAE), reducing the need of manual annotation to 50% and 20% in ACE and WikiEvents respectively, while achieving the same performance as with full training. More importantly, we show that recasting EAE as entailment alleviates the dependency on schemas, which has been a road-block for transferring annotations between domains. Thanks to the entailment, the multi-source transfer between ACE and WikiEvents further reduces annotation down to 10% and 5% (respectively) of the full training without transfer. Our analysis shows that the key to good results is the use of several entailment datasets to pre-train the entailment model. Similar to previous approaches, our method requires a small amount of effort for manual verbalization: only less than 15 minutes per event argument type is needed, and comparable results can be achieved with users with different level of expertise.

연구 동기 및 목표

• 이벤트 인자 추출(EAE)의 높은 주석 비용을 줄이기 위해, 이 작업을 재정의하는 텍스트 함의를 활용한다.
• ACE 및 WikiEvents와 같은 다양한 이벤트 스키마 간 전이를 가능하게 하여, 엄격하고 도메인 특화된 스키마에 대한 의존도를 최소화한다.
• 단일 MNLI 데이터셋 외에도 다양한 NLI 데이터셋을 사용한 다중 소스 NLI 사전 훈련이 함의 기반 EAE 성능 향상에 기여하는지 평가한다.
• 언어화된 템플릿 작성과 수동 주석 간 시간 및 노력을 비교하여 최적의 균형을 규명한다.

제안 방법

• 각 이벤트 인자 유형에 대해 자연어 가설(언어화)을 생성함으로써 EAE를 텍스트 함의 작업으로 재정의한다. 이는 입력을 (이벤트 트리거, 후보 인자, 역할 유형)의 구조로 정리한 템플릿을 사용한다.
• MNLI, SNLI, FEVER, ANLI와 같은 여러 NLI 데이터셋에서 사전 훈련된 모델을 미세조정하여 단일 데이터셋 사전 훈련보다 일반화 및 강건성을 향상시킨다.
• 함의 모델을 사용해, 전제(문장 맥락)와 가설(후보 인자를 포함한 템플릿) 간의 함의 확률을 평가함으로써 가장 가능성이 높은 인자 역할을 예측한다.
• ACE와 WikiEvents 간 제로샷 및 패기샷 전이를 위해, 데이터 재주석 없이도 템플릿과 사전 훈련된 모델을 재사용함으로써 주석 필요성을 전체 훈련 데이터의 5~10%로 줄인다.
• 다양한 NLI 데이터셋에서 동시에 사전 훈련함으로써 다중 소스 학습을 적용하여 제로샷 및 패기샷 일반화 능력을 향상시키며, 단일 MNLI로 미세조정한 모델보다 우수한 성능을 기록한다.
• 최소한의 도메인 전문 지식이 요구되는 인간-중심 접근법을 통해 템플릿을 생성하고, 전문가 및 초보자 템플릿 작성자 모두를 대상으로 성능을 검증한다.

실험 결과

연구 질문

• RQ1 전통적인 관계 추출보다 더 복잡한 작업인 이벤트 인자 추출에 대해, 텍스트 함의가 효과적으로 적용될 수 있는가? 특히 제로샷 및 패기샷 설정에서 강력한 성능을 보일 수 있는가?
• RQ2 단일 데이터셋 미세조정(예: MNLI만)에 비해, 여러 NLI 데이터셋에서의 다중 소스 사전 훈련이 함의 기반 EAE 성능 향상에 뚜렷한 기여를 하는가?
• RQ3 수동 주석에서 템플릿 작성으로 전환함으로써 주석 노력이 얼마나 감소할 수 있으며, 두 작업 간 시간 할당의 최적 균형은 무엇인가?
• RQ4 수동 재주석 없이도 ACE와 WikiEvents 간 스키마 간 전이가 가능할 수 있는가? 전체 주석 비용은 얼마나 감소하는가?
• RQ5 템플릿의 품질은 주석자 전문 지식에 따라 달라지는가, 아니면 비전문가도 유사한 성능을 낼 수 있는 효과적인 언어화를 작성할 수 있는가?

주요 결과

• 함의 기반 EAE 시스템은 ACE와 WikiEvents 양쪽에서 최신 성능을 달성하며, 패기샷 설정에서 전체 훈련 데이터의 20%만으로도 완전 주석 기반 결과와 유사한 성능을 기록한다.
• MNLI 외에도 SNLI, FEVER, ANLI 등 다양한 NLI 데이터셋을 사용한 사전 훈련은 MNLI 단독 사용에 비해 유의미하게 높은 성능을 내며, 특히 제로샷 및 패기샷 환경에서 두드러진다.
• 이벤트 인자 유형당 템플릿 작성에 15분 미만이 소요되며, 초보자 사용자도 동일한 성능을 낼 수 있어 전문 지식 장벽이 낮다.
• ACE에서 WikiEvents로 전이할 경우 주석 필요성을 전체 훈련 데이터의 10%로 줄였고, WikiEvents에서 ACE로 전이할 경우 5%로 줄였으며, 추가 수동 레이블링 없이도 가능했다.
• ACE 데이터의 5%를 주석 처리하는 데 약 9시간이 소요되고 F1 점수는 37.5를 기록하지만, 5시간 동안 템플릿 작성만으로도 제로샷 설정에서 F1 점수 40.6을 달성함으로써, 템플릿 작성의 효율성이 주석보다 뛰어나다는 것을 입증한다.
• 성능 곡선은 장기적인 템플릿 작성에서 수익 감소 현상을 보이며, 5시간의 템플릿 작성과 9시간의 주석 처리가 최적의 결과(F1 = 57)를 낳는다는 점을 시사한다.