[논문 리뷰] A Hierarchical Distance-dependent Bayesian Model for Event Coreference Resolution

Bishan Yang, Claire Cardie외 1명|arXiv (Cornell University)|2015. 04. 22.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 이벤트 공시성 해결을 위한 비모수적 군집화 프레임워크 내에서 지도학습 기반, 특징 풍부한 쌍별 거리 함수를 사전으로 통합하는 계층적 거리 의존 베이지안 모델을 제안한다. 언어적 특징과 학습 가능한 임bedding을 통해 언급 간 유사도를 모델링하고, 계층적 DDCRP를 사용해 문서 내외 이벤트를 군집화함으로써 ECB+ 코퍼스에서 최신 기술 수준의 성능을 달성하며, 비지도 및 지도 학습 기반의 기준 모델을 모두 능가한다.

ABSTRACT

We present a novel hierarchical distance-dependent Bayesian model for event coreference resolution. While existing generative models for event coreference resolution are completely unsupervised, our model allows for the incorporation of pairwise distances between event mentions -- information that is widely used in supervised coreference models to guide the generative clustering processing for better event clustering both within and across documents. We model the distances between event mentions using a feature-rich learnable distance function and encode them as Bayesian priors for nonparametric clustering. Experiments on the ECB+ corpus show that our model outperforms state-of-the-art methods for both within- and cross-document event coreference resolution.

연구 동기 및 목표

• 순수하게 비지도 또는 히우리스틱 기반의 공시성 모델의 한계를 해결하기 위해 생성 군집화에 지도학습 기반, 특징 풍부한 거리 신호를 통합한다.
• 문서 내외에서 이벤트 언급의 확률적이고 계층적인 군집화를 가능하게 한다.
• 거리 의존 중국식 레스토랑 과정을 계층적으로 적용하여 이벤트 언급 간 의미적 및 구조적 종속성을 모델링함으로써 공시성 해결을 향상시킨다.
• 지식 기반의 쌍별 유사도와 생성 군집화를 조합함으로써 교차 문서 이벤트 공시성 작업에서 뛰어난 성능을 달성할 수 있음을 입증한다.

제안 방법

• 군집 결정에 대한 사전으로 학습 가능한 특징 풍부한 거리 함수를 포함한 거리 의존 중국식 레스토랑 과정(DDCRP)을 확장한다.
• 이벤트 언급을 문서 내에서 군집화하고, 문서 내 군집을 문서 간으로 통합하는 계층적 구조를 채택한다.
• 두 언급 간 유사도는 헤드 단어 임베딩, 문맥 단어 유사도, SRL 인자, 참가자 정보 등의 특징을 사용하여 모델링하며, 가중치는 레이블이 부여된 데이터에서 학습한다.
• 베이지안 추론을 사용해 이벤트 군집과 유사도 파라미터를 동시에 추정함으로써 불확실성 인식 군집화를 가능하게 한다.
• 교차 문서 간 종속성을 모델링하기 위해 계층적 DDCRP(hddcrp)를 사용하며, 군집 형성에 영향을 주는 쌍별 거리에 기반한 사전을 활용한다.
• 통합된 생성 확률적 설정에서 문서 내 및 교차 문서 공시성 해결을 모두 지원한다.

실험 결과

연구 질문

• RQ1 비모수적 베이지안 군집 모델에 학습 가능한 판별적 쌍별 거리 특징을 통합하면 이벤트 공시성 해결 성능이 향상되는가?
• RQ2 문서 간 군집의 계층적 모델링이 교차 문서 이벤트 공시성 해결 성능에 어떤 영향을 미치는가?
• RQ3 생성 군집화와 판별적 유사도 모델링을 조합하면 순수하게 비지도 또는 결정론적 접근보다 성능이 뛰어나게 되는가?
• RQ4 SRL 인자와 단어 임베딩과 같은 언어적 특징이 정확한 공시성 예측에 얼마나 기여하는가?

주요 결과

• 제안된 hddcrp 모델은 ECB+ 코퍼스에서 기존 아그로메이티브 기준 모델과 비지도 hdp-lex 모델을 모두 능가하는 최신 기술 수준의 성능을 달성했으며, 문서 내 및 교차 문서 공시성 작업 모두에서 뛰어난 성능을 보였다.
• 문서 내 F1(WD CoNLL F1)과 교차 문서 F1(CD CoNLL F1)이 크게 향상되었으며, 더 높은 B3 F1 스코어는 더 나은 군집 품질을 나타낸다.
• 학습된 특징 가중치는 헤드 단어 임베딩 유사도(가중치 = 4.5)와 문자열 매칭(가중치 = 2.77)이 공시성 결정에 가장 예측력 있는 특징임을 보여준다.
• 모델은 아그로메이티브 및 비지도 모델이 놓친 의미적으로 유사한 언급, 예를 들어 'unveiled'과 'announced'를 정확히 함께 군집화한다.
• 모델의 성능은 이벤트 추출 및 인자 연결 오류에 민감하며, 세계 지식이 필요한 시제적 및 공간적 참조의 경우 특히 그렇다.
• 계층적 구조는 교차 문서 신호가 문서 내 결정에 영향을 주도록 함으로써 군집화 성능을 향상시킨다. hddcrp가 ddcrp 및 hddcrp*보다 WD CoNLL F1에서 뛰어난 성능을 보였다.