[논문 리뷰] A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck

Jie Zhou, Qi Zhang외 3명|arXiv (Cornell University)|2022. 08. 27.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 이벤트 인자 추출을 위한 다중 포맷 전이 학습 모델인 UnifiedEAE를 제안하며, 공유-특수 프롬프트 프레임워크와 변동 정보 볼트저(Varinat Information Bottleneck, VIB)를 활용하여 포맷 간 공유 지식을 정제하면서 이질적인 데이터셋으로부터 노이즈를 걸러내는 데에 초점을 맞춘다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 효과적인 포맷 간 지식 전이를 통해 저자원 이벤트 인자 추출을 크게 향상시킨다.

ABSTRACT

Event argument extraction (EAE) aims to extract arguments with given roles from texts, which have been widely studied in natural language processing. Most previous works have achieved good performance in specific EAE datasets with dedicated neural architectures. Whereas, these architectures are usually difficult to adapt to new datasets/scenarios with various annotation schemas or formats. Furthermore, they rely on large-scale labeled data for training, which is unavailable due to the high labelling cost in most cases. In this paper, we propose a multi-format transfer learning model with variational information bottleneck, which makes use of the information especially the common knowledge in existing datasets for EAE in new datasets. Specifically, we introduce a shared-specific prompt framework to learn both format-shared and format-specific knowledge from datasets with different formats. In order to further absorb the common knowledge for EAE and eliminate the irrelevant noise, we integrate variational information bottleneck into our architecture to refine the shared representation. We conduct extensive experiments on three benchmark datasets, and obtain new state-of-the-art performance on EAE.

연구 동기 및 목표

• 포맷, 어노테이션 스키마, 노이즈가 상이한 이벤트 인자 추출 데이터셋 간 지식 전이의 과제를 해결하기 위해.
• 다양한 이벤트 유형, 역할, 명명 관례를 가진 여러 데이터셋으로부터 인자를 추출할 수 있는 통합 모델을 개발하기 위해.
• 더 큰 이질적 데이터셋에서 유래한 공유 지식을 활용하여 저자원 이벤트 인자 추출을 향상시키기 위해.
• 직접 데이터셋을 병합할 경우 발생하는 성능 저하를 줄이기 위해 포맷 전용 노이즈를 걸러내기 위해.
• 통합 아키텍처를 통해 포맷 간 공유 및 포맷 전용 표현을 동시에 학습시켜 일반화 능력을 향상시키기 위해.

제안 방법

• 다양한 포맷의 데이터셋에서 포맷 간 공유 및 포맷 전용 표현을 학습하기 위해 공유-특수 프롬프트(Shared-Specific Prompt, SSP) 프레임워크를 설계하였다.
• 모델은 아키텍처 변경 없이도 다양한 이벤트 인자 추출 포맷에 적응하기 위해 프롬프트 기반 미세조정을 사용한다.
• 공유 표현 스트림에 변동 정보 볼트저(Variational Information Bottleneck, VIB) 모듈을 통합하여 관련 없는 포맷 전용 정보를 억제한다.
• VIB 구성 요소는 입력 포맷에 대한 정보를 최소화하면서도 목표 레이블과의 상호정보를 최대화함으로써 공유 표현을 정규화한다.
• 입력 텍스트와 프롬프트 토큰 간의 통합 크로스 어텐션 메커니즘을 사용하여 인자 식별 및 분류를 동시에 최적화한다.
• 다양한 포맷을 가진 여러 데이터셋에서 엔드 투 엔드로 훈련되어 새로운 데이터셋에 대해 제로샷 및 피셔샷 전이가 가능하다.

실험 결과

연구 질문

• RQ1 다양한 포맷, 이질적인 이벤트 유형, 역할, 명명 관례를 가진 데이터셋 간에 통합 모델이 효과적으로 이벤트 인자를 추출할 수 있는가?
• RQ2 다양한 포맷의 이벤트 인자 추출에서 포맷 간 공유 지식는 어떻게 효과적으로 학습하고 포맷 전용 노이즈와 분리할 수 있는가?
• RQ3 변동 정보 볼트저를 통합할 경우, EAE에서 전이 학습의 일반화 능력과 견고성은 어느 정도 향상되는가?
• RQ4 제안된 모델은 레이블이 몇 개 밖에 없는 경우에도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 노이즈가 많고 어노테이션 일관성이 떨어지는 직접 데이터 병합 전략에 비해 모델은 성능이 떨어지지 않고 우월한 성능을 보이는가?

주요 결과

• UnifiedEAE는 ACE2005, RAMS, WikiEvents 세 가지 벤치마크 EAE 데이터셋에서 새로운 최신 기술 수준 성능를 달성하였다.
• 공유-특수 프롬프트(SSP) 구성 요소를 제거할 경우, RAMS에서 WikiEvents로 전이할 때 인자 식별 및 분류의 F1 점수가 약 4점 감소하였다.
• 공유VIB(SharedVIB) 구성 요소는 RAMS에서 ACE2005로 전이할 때 성능을 4점 이상 향상시켜 노이즈를 걸러내고 공유 지식을 강화하는 데 효과적임을 입증하였다.
• WikiEvents에서 10개의 레이블 예시만으로도 UnifiedEAE는 F1 점수 30 이상을 달성하였고, PAIE 모델은 거의 무작위 수준에서 성능을 보였다. 이는 강력한 피셔샷 일반화 능력을 보여준다.
• WikiEvents에서 200개의 예시로도 UnifiedEAE는 3,241개의 샘플로 훈련된 전체 데이터셋 기반 모델들(BART-Gen, EEQA-BART)과 유사한 성능을 달성하였다.
• 포맷 간 공유 모델은 제로샷 설정에서도 일반화된다: ACE2005에서 'Personnel.Nominate' 이벤트 유형은 훈련 데이터에 포함되지 않았지만, 모델은 정확하게 역할을 추출하였다.