[논문 리뷰] Unsupervised Label-aware Event Trigger and Argument Classification

Hongming Zhang, Haoyu Wang외 1명|arXiv (Cornell University)|2020. 12. 30.

Topic Modeling참고 문헌 28인용 수 10

한 줄 요약

이 논문은 사전 정의된 온톨로지의 레이블 의미론적 특성과 구조적 제약 조건을 유일한 자료로 사용하여, 사전에 애너테이션된 학습 데이터 없이 이벤트 트리거와 인과자를 분류하는 제로샷 이벤트 추출 프레임워크를 제안한다. 사전 훈련된 언어 모델의 컨텍스트 기반 임베딩과 정수 선형 프로그래밍을 활용하여 제약 조건 정규화를 수행하며, ACE-2005에서 애너테이션된 학습 데이터 없이도 트리거 분류 정확도 83%, 인과자 분류 정확도 54%를 달성하여 이전 제로샷 방법의 거의 두 배에 가까운 성능을 기록한다.

ABSTRACT

Identifying events and mapping them to pre-defined event types has long been an important natural language processing problem. Most previous work has been heavily relying on labor-intensive and domain-specific annotations while ignoring the semantic meaning contained in the labels of the event types. As a result, the learned models cannot effectively generalize to new domains, where new event types could be introduced. In this paper, we propose an unsupervised event extraction pipeline, which first identifies events with available tools (e.g., SRL) and then automatically maps them to pre-defined event types with our proposed unsupervised classification model. Rather than relying on annotated data, our model matches the semantics of identified events with those of event type labels. Specifically, we leverage pre-trained language models to contextually represent pre-defined types for both event triggers and arguments. After we map identified events to the target types via representation similarity, we use the event ontology (e.g., argument type "Victim" can only appear as the argument of event type "Attack") as global constraints to regularize the prediction. The proposed approach is shown to be very effective when tested on the ACE-2005 dataset, which has 33 trigger and 22 argument types. Without using any annotation, we successfully map 83% of the triggers and 54% of the arguments to the correct types, almost doubling the performance of previous zero-shot approaches.

연구 동기 및 목표

• 비용이 많이 들고 도메인에 특화된 애너테이션을 피하는 제로샷 이벤트 추출 시스템을 개발하기 위해.
• 이벤트 유형 레이블의 의미론적 의미를 활용하여 새로운 이벤트 유형과 도메인으로의 일반화 능력을 향상시키기 위해.
• 온톨로지에서 유도된 레이블 정의와 구조적 제약 조건만을 사용하여 이벤트 트리거와 인과자를 분류하기 위해.
• 높은 성능을 유지하면서도 애너테이션된 학습 데이터에 의존하지 않기 위해.
• 최소한의 설정으로 새로운 데이터셋과 이벤트 분류 체계에 대해 이벤트 추출 파이프라인을 구동할 수 있도록 하기 위해.

제안 방법

• 대규모 코퍼스에 포함된 레이블을 포함하는 문장들에서 유도된 사전 훈련된 언어 모델의 컨텍스트 기반 임베딩을 사용하여 이벤트 유형 레이블을 표현한다.
• 이들의 컨텍스트 기반 임베딩과 레이블 클러스터 간의 코사인 유사도를 계산하여 식별된 이벤트 트리거와 인과자를 대상 유형으로 매핑한다.
• 예를 들어 유효한 인과 역할 매핑이나 실체 유형 제약 조건과 같은 이벤트 온톨로지의 구조적 제약 조건을 예측 과정의 전역 제약 조건으로 사용한다.
• 최종 분류 단계를 정수 선형 프로그래밍(ILP) 문제로 공식화하여 모든 예측이 정의된 제약 조건을 만족하도록 보장한다.
• 이론적 분류 모델을 SRL 및 언급 탐지 모듈과 통합하여 인과자 식별을 향상시킨다.
• 예를 들어 '공격' 유형은 반드시 '공격자'와 '대상'을 요구한다는 정의를 활용하여 예측을 이끌고 정규화한다.

실험 결과

연구 질문

• RQ1 레이블 의미론적 특성과 온톨로지 제약 조건만을 사용하여 제로샷 환경에서 이벤트 트리거와 인과자를 정확하게 분류할 수 있는가?
• RQ2 제로샷 이벤트 분류에서 고정된 워드 임베딩에 비해 컨텍스트 기반 레이블 표현 방식은 얼마나 효과적인가?
• RQ3 이벤트 온톨로지의 구조적 제약 조건은 제로샷 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 애너테이션된 학습 데이터 없이도 제로샷 이벤트 추출 파이프라인이 감독 학습 기반 최첨단(SOTA) 시스템에 맞먹는가?
• RQ5 학습 데이터를 사용하지 않았을 때 제로샷 시스템의 성능은 감독 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 제로샷 모델은 애너테이션된 학습 데이터 없이도 ACE-2005 데이터셋에서 이벤트 트리거 분류 정확도 83%를 달성한다.
• 모델은 인과자 분류 정확도 54%를 기록하며, 이는 이전의 제로샷 접근 방식보다 뚜렷이 뛰어나다.
• 다양한 문장들에 포함된 레이블에서 유도된 컨텍스트 기반 레이블 표현 방식은 고정된 워드 임베딩에 비해 성능 향상에 상당한 기여를 한다.
• 정수 선형 프로그래밍을 통한 이벤트 온톨로지의 구조적 제약 조건 통합은 예측의 일관성과 정확도를 향상시킨다.
• SRL 및 언급 탐지 모듈과 결합했을 때, 제로샷 파이프라인이 6,000여 개 문장에 대해 훈련된 감독 기반 SOTA 시스템과 비교해 유사한 성능을 기록한다.
• 제거 실험을 통해 컨텍스트 기반 레이블 표현과 적절한 제약 조건 통합이 모델 성공에 필수적임을 확인한다.