[논문 리뷰] Neural Coreference Resolution with Deep Biaffine Attention by Joint Mention Detection and Mention Clustering

Rui Zhang, Cícero Nogueira dos Santos외 3명|arXiv (Cornell University)|2018. 05. 13.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 이중선형 주의(attention)를 사용하여 전행자 지정 점수를 평가하는 이중선형 주의를 활용해 언급 탐지와 언급 클러스터링을 공동 최적화하는 신경망 핵심참조 해결 모델을 제안한다. 언급 탐지 손실과 이중선형 주의 기반 메커니즘을 통합함으로써, 5개 모델 앙상블을 사용하여 CoNLL-2012 영어 테스트 세트에서 69.2%의 F1 점수로 최신 기술 수준을 달성한다.

ABSTRACT

Coreference resolution aims to identify in a text all mentions that refer to the same real-world entity. The state-of-the-art end-to-end neural coreference model considers all text spans in a document as potential mentions and learns to link an antecedent for each possible mention. In this paper, we propose to improve the end-to-end coreference resolution system by (1) using a biaffine attention model to get antecedent scores for each possible mention, and (2) jointly optimizing the mention detection accuracy and the mention clustering log-likelihood given the mention cluster labels. Our model achieves the state-of-the-art performance on the CoNLL-2012 Shared Task English test set.

연구 동기 및 목표

• 언급 탐지와 언급 클러스터링을 공동 최적화하여 엔드 투 엔드 신경망 핵심참조 해결 성능을 향상시키기.
• 손으로 만든 특징과 문법 분석기 의존도를 줄이기 위해 최소한의 특징 공학을 적용한 깊은 신경망 사용.
• 비대용어(싱글턴) 언급 비율이 높은 문제를 해결하기 위해 언급 탐지 손실을 통해 대용어성(핵심참조성)을 명시적으로 모델링하기.
• 피드포워드 네트워크 대신 이중선형 주의 기반 메커니즘을 도입하여 전행자 지정 정확도 향상.
• 학습 데이터에 포함되지 않은 언급에 대한 일반화 능력을 향상시키기 위해 학습 중 언급 탐지 손실 활용하기.

제안 방법

• 스팬을 인코딩하고 문맥적 표현을 생성하기 위해 양방향 LSTMs와 주의 메커니즘을 사용.
• 언급 점수를 예측하기 위해 피드포워드 네트워크를 적용하고, 언급 탐지 정확도를 명시적으로 최적화하는 손실 함수를 사용.
• 후보 스파니에서 전행자 점수를 계산하기 위해 이중선형 주의 메커니즘을 활용하여 핵심참조 가능성 확률을 직접 모델링.
• 골드 클러스터 레이블을 사용하여 언급 탐지 손실과 언급 클러스터링 로그우도를 공동 최적화.
• 10단어 이내의 모든 스파니를 잠재적인 언급으로 간주하여 별도의 언급 탐지기 필요 없이 처리.
• 사전 학습된 워드 임베딩과 CNN 기반 문자 임베딩을 사용해 단어 표현을 풍부하게 함.

실험 결과

연구 질문

• RQ1 언급 탐지와 클러스터링을 별도로 학습하는 것과 비교해 공동 최적화가 핵심참조 해결 성능 향상에 기여하는가?
• RQ2 전행자 지정에서 피드포워드 네트워크 대신 이중선형 주의를 사용할 경우 핵심참조 예측 성능이 향상되는가?
• RQ3 언급 탐지 손실을 도입하면 학습 데이터에 포함되지 않은 언급 탐지 능력이 향상되는가?
• RQ4 긴 스파니에 대해서는 기존 시스템에서 자주 탐지되지 않는 경우가 많은데, 모델의 성능은 어떠한가?
• RQ5 파이프라인 시스템에서 발생하는 누적 오류를 공동 학습 전략이 어느 정도 감소시키는가?

주요 결과

• 5개 모델 앙상블을 사용하여 CoNLL-2012 영어 테스트 세트에서 새로운 최고 기록인 F1 점수 69.2%를 달성한다.
• 단일 모델 기준 F1 점수는 67.8%에 도달하여, 특히 긴 스파니에서 정밀도 향상으로 이전 최고 성능 모델을 초월한다.
• 제거 실험 결과 언급 탐지 손실이나 이중선형 주의를 제거할 경우 F1 점수가 0.3~0.4 포인트 감소함으로써 두 구성 요소의 기여도를 확인한다.
• Lee 등(2017)이 탐지하지 못한 1,048개의 언급을 탐지하였으며, 이 중 662개는 학습 데이터에 존재하지 않아 일반화 능력 향상이 확인되었다.
• 5단어 이상의 스파니에서 언급 탐지 성능이 크게 향상되었으며, 길이에 관계없이 모든 너비에서 정확도가 높아졌다. 이는 명시적 탐지 손실 덕분이다.
• 이중선형 주의 메커니즘이 전행자 지정 정확도를 향상시켜 핵심참조 연결 성능을 높이고 클러스터링 정밀도를 향상시켰다.