[논문 리뷰] MAVEN: A Massive General Domain Event Detection Dataset

Xiaozhi Wang, Ziqi Wang외 8명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 64인용 수 5

한 줄 요약

MAVEN는 4,480개의 위키백과 문서, 118,732개의 이벤트 언급, 168개의 이벤트 유형을 포함하는 대규모 인간 레이블링 이벤트 탐지 데이터셋으로, FrameNet을 기반으로 일반 도메인에 광범위한 커버리지가 보장되도록 구성되었다. 최신 모델에서 평가한 결과 성능 저하가 심각하게 나타나, 일반 도메인 이벤트 탐지 문제가 아직도 도전적인 열린 문제로 남아 있으며, 향후 연구가 필요하다.

ABSTRACT

Event detection (ED), which means identifying event trigger words and classifying event types, is the first and most fundamental step for extracting event knowledge from plain text. Most existing datasets exhibit the following issues that limit further development of ED: (1) Data scarcity. Existing small-scale datasets are not sufficient for training and stably benchmarking increasingly sophisticated modern neural methods. (2) Low coverage. Limited event types of existing datasets cannot well cover general-domain events, which restricts the applications of ED models. To alleviate these problems, we present a MAssive eVENt detection dataset (MAVEN), which contains 4,480 Wikipedia documents, 118,732 event mention instances, and 168 event types. MAVEN alleviates the data scarcity problem and covers much more general event types. We reproduce the recent state-of-the-art ED models and conduct a thorough evaluation on MAVEN. The experimental results show that existing ED methods cannot achieve promising results on MAVEN as on the small datasets, which suggests that ED in the real world remains a challenging task and requires further research efforts. We also discuss further directions for general domain ED with empirical analyses. The source code and dataset can be obtained from https://github.com/THU-KEG/MAVEN-dataset.

연구 동기 및 목표

• 기존 이벤트 탐지(ED) 데이터셋이 일반 도메인 이벤트의 커버리지가 낮고 데이터 부족 문제를 겪는 점을 해결하기 위해.
• 현대 신경망 기반 ED 모델의 훈련과 벤치마킹을 지원할 수 있는 대규모 인간 레이블링 데이터셋을 구축하기 위해.
• 좁은 전문 분야에 국한된 스키마를 넘어 일반화된 이벤트 유형 커버리지 확장을 통해 ED 모델의 일반화 능력을 향상시키기 위해.
• 긴 꼬리 이벤트 유형, 데이터 불균형, 세밀한 유형 구분과 같은 과제를 실증적으로 분석할 수 있도록 하기 위해.
• 향후 연구를 위한 기반을 마련하기 위해 다이내믹 이벤트 모델링, 계층적 스키마 활용, ED에서의 전이 학습 등에 기여하기 위해.

제안 방법

• FrameNet의 언어적 프레임을 활용하여 4,480개의 위키백과 문서에서 MAVEN를 구축하여 포괄적이고 인간 검증된 이벤트 유형 스키마를 정의함.
• FrameNet 기반으로 계층적 트리 구조 이벤트 유형 스키마를 정의하여 의미적 커버리지 향상과 세밀한 분류 지원을 달성함.
• 트리거와 168개의 고유한 이벤트 유형을 포함한 118,732개의 이벤트 언급을 인간 레이블링하여 고품질, 다양성 있고 일반 도메인 커버리지가 보장된 데이터셋 확보.
• 최신 신경 기반 ED 모델을 재현하고 MAVEN에서 성능을 평가하여 보다 현실적이고 복잡한 벤치마크에서의 성능 평가 수행.
• 데이터 불균형, 계층적 스키마, 다중 이벤트 상관관계의 영향을 평가하기 위해 추론 실험과 실증 분석 수행.
• 재현 가능성과 커뮤니티 수용을 촉진하기 위해 GitHub를 통해 데이터셋과 코드를 오픈소스로 제공함.

실험 결과

연구 질문

• RQ1 최신 신경 기반 이벤트 탐지 모델은 기존의 작은 벤치마크(예: ACE 2005)와 비교해 MAVEN와 같은 대규모 일반 도메인 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 데이터 불균형과 긴 꼬리 이벤트 유형 분포는 실제 ED 작업에서 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ3 계층적 이벤트 유형 스키마는 의미적으로 유사하거나 밀접하게 관련된 이벤트 유형을 구분하는 데 성능 향상에 기여하는가?
• RQ4 MAVEN에서 자원이 적은 이벤트 탐지 환경에서 전이 학습 및 데이터 증강 전략은 얼마나 효과적인가?
• RQ5 현재 ED 모델이 일반 도메인 텍스트에 적용되었을 때 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 최신 ED 모델은 ACE 2005와 같은 작은 벤치마크와 비교해 MAVEN에서 상당한 성능 저하를 보이며, 실제 세계의 일반 도메인 이벤트 탐지 문제가 여전히 도전적인 과제로 남아 있음을 시사한다.
• 가장 흔한 오류 유형은 '식별 오류'로, 모델이 트리거를 탐지하지 못하거나 N/A로 잘못 분류하는 경우로, 복잡한 언어에서 이벤트 의미를 인식하는 데 어려움을 겪고 있음을 보여준다.
• 계층적 스키마에서 부모-자식 또는 형제 이벤트 유형 간에 '이벤트 유형 오류' 비율이 높게 나타나, 모델가 세밀한 의미적 차이를 구분하는 데 어려움을 겪고 있음을 시사한다.
• 상위 50% 빈도 유형에 대한 오분류가 빈번히 발생하며, 이는 모델가 데이터 불균형에 편향되어 낮은 자원 유형으로의 일반화에 실패하고 있음을 나타낸다.
• 계층적 이벤트 유형 스키마는 유사한 이벤트 유형 간의 구분 능력을 향상시키는 데 잠재력을 보이며, 더 나은 데이터 균형 조절 및 증강 전략 수립에 기여할 수 있다.
• 실증 분석 결과, 한 문장 내에서 다중 이벤트를 모델링하는 것이 복잡한 텍스트에서 ED 성능 향상에 유망한 방향임을 확인했다.