[논문 리뷰] Zero-Shot Transfer Learning for Event Extraction

Lifu Huang, Heng Ji외 2명|arXiv (Cornell University)|2017. 07. 04.

Topic Modeling참고 문헌 35인용 수 13

한 줄 요약

이 논문은 공유된 의미 공간 내에서 이벤트 타이핑을 기반으로 하는 제로샷 전이 학습 프레임워크를 제안한다. 소견된 이벤트 타입과 기존 온톨로지에 기반한 신경망 아키텍처를 통해 이벤트 언급과 타입을 동시에 임bedding하여, 추가적인 애너테이션 없이도 23개의 미사용 이벤트 타입에 대해 감독 모델과 유사한 성능을 달성한다.

ABSTRACT

Most previous event extraction studies have relied heavily on features derived from annotated event mentions, thus cannot be applied to new event types without annotation effort. In this work, we take a fresh look at event extraction and model it as a grounding problem. We design a transferable neural architecture, mapping event mentions and types jointly into a shared semantic space using structural and compositional neural networks, where the type of each event mention can be determined by the closest of all candidate types . By leveraging (1)~available manual annotations for a small set of existing event types and (2)~existing event ontologies, our framework applies to new event types without requiring additional annotation. Experiments on both existing event types (e.g., ACE, ERE) and new event types (e.g., FrameNet) demonstrate the effectiveness of our approach. extit{Without any manual annotations} for 23 new event types, our zero-shot framework achieved performance comparable to a state-of-the-art supervised model which is trained from the annotations of 500 event mentions.

연구 동기 및 목표

• 각 새로운 이벤트 타입에 대해 비용이 많이 드는 애너테이션을 요구하는 감독형 이벤트 추출의 확장성 한계를 해결하기 위해.
• 새로운 이벤트 타입으로 일반화할 수 없어 다시 시작부터 재학습이 필요한 기존 감독형 모델의 낮은 이식성 문제를 해결하기 위해.
• 기존 이벤트 온톨로지와 제한된 수의 수동 애너테이션을 활용하여 새로운, 미사용된 이벤트 타입으로의 제로샷 전이를 가능하게 하기 위해.
• 공유된 임베딩 공간 내에서 이벤트 언급을 가장 가까운 의미 타입으로 매핑하는 통합적이고 이식 가능한 프레임워크를 개발하기 위해.
• 이벤트 온톨로지 내 풍부한 의미적 구조를 활용하여 이벤트 추출의 커버리지 범위를 수십 개에서 수천 개의 타입으로 확장하기 위해.

제안 방법

• 추상 의미 표현(AMR)과 이벤트 온톨로지 정의를 사용하여 이벤트 언급과 타입을 구조화된 의미 그래프로 표현하기 위해.
• 이벤트 언급과 타입 모두에 대해 AMR 튜플을 조밀한 벡터 표현으로 인코딩하기 위해 컨volutional 신경망(CNN)을 훈련하기 위해.
• 일치하는 쌍 간의 거리를 최소화하는 방식으로, 일치하는 쌍 간의 거리를 최소화하는 방식으로 이벤트 언급과 타입을 공유된 의미 공간에 함께 임베딩하기 위해.
• 소수의 알려진 타입이 존재하는 상황에서 과적합을 방지하기 위해, 음성 마이닝을 통합한 새로운 대비 손실 함수를 도입하기 위해.
• 제로샷 추론을 위해, 공유된 임베딩 공간 내에서 코사인 유사도가 가장 높은 타입을 각 이벤트 언급에 할당하기 위해.
• 새로운 애너테이션 없이도, 사전 존재하는 이벤트 온톨로지(E.g., ERE, FrameNet)를 활용하여 새로운 타입과 그들의 인자 역할 구조를 정의하기 위해.

실험 결과

연구 질문

• RQ1 추가적인 수동 애너테이션 없이도 새로운, 미사용된 이벤트 타입으로 이벤트 추출을 효과적으로 전이할 수 있는가?
• RQ2 소수의 알려진 이벤트 타입에서 학습된 공유된 의미 공간이 기존 온톨로지 내 수천 개의 미사용 타입으로 얼마나 잘 일반화되는가?
• RQ3 AMR의 세밀한 의미 관계(예: :location, :instrument)가 간단한 의미 역할 레이블링(SRL)에 비해 제로샷 이벤트 타입 분류 성능에 얼마나 기여하는가?
• RQ4 대규모 애너테이션 데이터에 의존하는 완전한 감독 모델과 비교해 본다면, 제안된 프레임워크의 성능은 어떠한가?
• RQ5 골드 표준 애너테이션 대신 시스템에서 생성한 AMR 파싱 결과를 사용할 경우, 제안된 방법이 얼마나 강건한가?

주요 결과

• 제안된 제로샷 프레임워크는 6개의 알려진 타입에 대해 548개의 애너테이션 예제만을 사용하여 23개의 미사용 이벤트 타입에 대해 트리거 분류에서 59.1% F1을 달성했으며, 500개의 이벤트 언급에 대해 훈련된 감독 모델과 동일한 성능을 보였다.
• 완벽한 AMR 애너테이션을 사용할 경우, 트리거 분류에서 79.1% F1, 인자 분류에서 47.1% F1을 기록했으며, SRL 기반 베이스라인보다 각각 2.0점과 0.1점 높은 성능을 보였다.
• 모델는 강력한 일반화 능력을 보였으며, 시스템에서 생성한 AMR 파싱 결과를 사용할 경우에도 트리거 분류에서 46.7% F1을 달성하여 파싱 오류에 대해 강건함을 입증했다.
• 세밀한 AMR 관계(예: :location, :instrument)는 핵심 SRL 역할보다 더 정보가 풍부한 특징을 제공하여 트리거 분류에서 F1을 0.7점 향상시켰다.
• 음성 마이닝을 통합한 대비 손실 함수는 소수의 알려진 타입이 존재하는 상황에서 과적합을 효과적으로 완화하여, 작은 수의 알려진 타입에도 불구하고 신뢰할 수 있는 제로샷 전이를 가능하게 했다.
• 기존 온톨로지(Framenet 등)를 활용함으로써 이벤트 추출을 수천 개의 타입으로 확장하는 데 성공했으며, 전통적인 감독형 방법에 비해 확장성 면에서 크게 향상되었다.