[논문 리뷰] Cross-Document Event Coreference Resolution Beyond Corpus-Tailored Systems.

Michael Bugert, Nils Reimers외 1명|arXiv (Cornell University)|2020. 11. 24.

Topic Modeling참고 문헌 44인용 수 5

한 줄 요약

이 논문은 ECB+, 총격 폭력, 축구 핵심 참조의 세 가지 다채로운 코퍼스를 대상으로 교차 문서 이벤트 핵심 참조 해결(CDCR)을 평가하며, 단일 코퍼스에서 훈련된 신경망 모델과 통일된 특징 기반 시스템을 비교한다. 절대 성능은 낮지만, 특징 기반 시스템은 도메인 간 일반화 성능이 더 뛰어나며, 기존의 신경망 시스템이 코퍼스 특화된 패턴에 과적합됨을 드러내고, CDCR의 일반화 능력을 향상시키기 위해 다중 코퍼스 평가를 권장한다.

ABSTRACT

Cross-document event coreference resolution (CDCR) is an NLP task in which mentions of events need to be identified and clustered throughout a collection of documents. CDCR aims to benefit downstream multi-document applications, but despite recent progress on corpora and model development, downstream improvements from applying CDCR have not been shown yet. The reason lies in the fact that every CDCR system released to date was developed, trained, and tested only on a single respective corpus. This raises strong concerns on their generalizability --- a must-have for downstream applications where the magnitude of domains or event mentions is likely to exceed those found in a curated corpus. To approach this issue, we define a uniform evaluation setup involving three CDCR corpora: ECB+, the Gun Violence Corpus and the Football Coreference Corpus (which we reannotate on token level to make our analysis possible). We compare a corpus-independent, feature-based system against a recent neural system developed for ECB+. Whilst being inferior in absolute numbers, the feature-based system shows more consistent performance across all corpora whereas the neural system is hit-and-miss. Via model introspection, we find that the importance of event actions, event time, etc. for resolving coreference in practice varies greatly between the corpora. Additional analysis shows that several systems overfit on the structure of the ECB+ corpus. We conclude with recommendations on how to move beyond corpus-tailored CDCR systems in the future -- the most important being that evaluation on multiple CDCR corpora is strongly necessary. To facilitate future research, we release our dataset, annotation guidelines, and model implementation to the public.

연구 동기 및 목표

• 기존 CDCR 시스템이 일반화 능력이 떨어지는 문제를 해결하기 위해, 이는 일반적으로 단일 코퍼스에서만 훈련 및 테스트되기 때문이다.
• 단일 통일된 CDCR 시스템이 다양한 도메인과 이벤트 유형에서 일관된 성능을 보일 수 있는지 조사하기 위해이다.
• 벤치마크 코퍼스에서의 진전에도 불구하고, 이전 CDCR 시스템이 왜 실용적 응용에 기여하지 못하는지 밝혀내기 위해이다.
• 다양한 코퍼스 간 핵심 참조 해결에서 언어적 특징(예: 이벤트 동사, 시간 표현, 참조자)의 역할을 분석하기 위해이다.
• 강력하고 일반화 가능한 CDCR 시스템을 구축하기 위한 필수 단계로, 다중 코퍼스 평가를 촉진하기 위해이다.

제안 방법

• 수작업으로 작성한 언어적 특징(예: 이벤트 동사, 시간 표현, 참조자 구조)을 사용하여 통일된 특징 기반 CDCR 시스템을 설계하였다.
• 교차 코퍼스 평가를 위해, 축구 핵심 참조 코퍼스를 토큰 수준에서 재표기하여 다른 코퍼스와의 일관성을 확보하였다.
• 세 가지 서로 다른 코퍼스인 ECB+, 총격 폭력, 축구 핵심 참조에서 특징 기반 시스템과 ECB+에서 훈련된 신경망 모델을 평가하였다.
• 모델 내부 분석을 수행하여 특징 중요도를 코퍼스 간에 분석하였으며, 이는 이벤트 시간, 동사, 참조자가 도메인에 따라 다르게 중요시됨을 드러내었다.
• 교차 코퍼스 평가를 통해, 특히 ECB+의 구조적 패턴에 과적합된 신경망 시스템의 과적합 현상을 탐지하였다.
• 재표기된 축구 핵심 참조 데이터셋, 표기 지침, 모델 코드를 공개하여 재현 가능성과 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 단일 통일된 특징 기반 CDCR 시스템은 단일 코퍼스에 맞춰진 신경망 모델과 비교해, 다양한 코퍼스에서 어떻게 성능을 발휘하는가?
• RQ2 이벤트 동사, 시간 표현, 참조자와 같은 언어적 특징이 다양한 도메인에서 핵심 참조 해결에 얼마나 기여하는가?
• RQ3 기존 CDCR 시스템이 훈련된 코퍼스를 초월해 일반화하지 못하는 이유는 무엇이며, 어떤 구조적 편향을 보이는가?
• RQ4 다중 코퍼스 평가는 단일 벤치마크에서 높은 성능을 내는 신경망 CDCR 모델의 과적합을 드러내는 데 얼마나 효과적인가?
• RQ5 코퍼스 맞춤 개발을 초월해 일반화 가능한 CDCR 시스템을 구축하기 위한 핵심 요건은 무엇인가?

주요 결과

• 특징 기반 CDCR 시스템은 절대적 정확도는 낮지만, 세 코퍼스 전반에서 더 일관된 성능을 보였다.
• ECB+에서 훈련된 신경망 모델은 총격 폭력 및 축구 핵심 참조 코퍼스에서 성능이 떨어져 강한 도메인 특화 과적합이 있음을 시사한다.
• 특징 중요도는 코퍼스 간에 크게 달라졌으며, ECB+에서는 이벤트 동사가 핵심이었고, 총격 폭력 코퍼스에서는 시간 표현이 더 중요시되었다.
• 특징 기반 시스템 외에도 여러 CDCR 시스템, 특히 신경망 모델이 ECB+ 코퍼스의 문법적 및 구조적 패턴, 특히 참조자 구조와 언급 분포에 과적합되었다.
• 이 연구는 단일 코퍼스 평가로는 일반화 능력을 평가하기 부족하며, 다중 코퍼스 평가는 신뢰할 수 있는 시스템 평가를 위해 필수적임을 입증한다.
• 토큰 수준에서 재표기된 축구 핵심 참조 코퍼스는 더 정확하고 일관된 교차 코퍼스 비교를 가능하게 하며, 향후 연구를 지원한다.