[논문 리뷰] Coreference Resolution as Query-based Span Prediction

Wei Wu, Fei Wang외 3명|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 43인용 수 21

한 줄 요약

이 논문은 핵심 참조 해결을 질문 기반 스팁 예측으로 재구성하는 새로운 핵심 참조 해결 프레임워크인 CorefQA를 소개한다. 이는 질문 응답과 유사하게 작동한다. 각 언급에 대해 맥락에 맞는 질문을 생성하고, 스팬 예측 모듈을 사용함으로써 놓친 언급을 복구하며, 외부 질문 응답 데이터셋을 활용해 데이터 증강을 수행함으로써, CoNLL-2012에서 83.1 F1(+3.5)과 GAP에서 87.5 F1(+2.5)의 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we present an accurate and extensible approach for the coreference resolution task. We formulate the problem as a span prediction task, like in machine reading comprehension (MRC): A query is generated for each candidate mention using its surrounding context, and a span prediction module is employed to extract the text spans of the coreferences within the document using the generated query. This formulation comes with the following key advantages: (1) The span prediction strategy provides the flexibility of retrieving mentions left out at the mention proposal stage; (2) In the MRC framework, encoding the mention and its context explicitly in a query makes it possible to have a deep and thorough examination of cues embedded in the context of coreferent mentions; and (3) A plethora of existing MRC datasets can be used for data augmentation to improve the model's generalization capability. Experiments demonstrate significant performance boost over previous models, with 87.5 (+2.5) F1 score on the GAP benchmark and 83.1 (+3.5) F1 score on the CoNLL-2012 benchmark.

연구 동기 및 목표

• 초기 연결 단계에서 놓친 언급이 복구되지 않는 언급 제안의 한계를 해결한다.
• 기존 엔드 투 엔드 모델에서 언급-맥락 상호작용을 얕게 모델링하는 문제를 해결하기 위해 더 깊은 맥락 분석을 가능하게 한다.
• 모델의 일반화 능력과 이식 가능성을 향상시키기 위해 기존 질문 응답 데이터셋의 풍부한 자료를 활용해 데이터 증강을 수행한다.
• 직접 입력을 결합하는 방식을 통해 대화 설정에서 발화자 신원을 더 효과적으로 모델링함으로써 성능을 향상시킨다.
• 제안된 언급 외의 언급을 검색할 수 있고, 언급 제안 오류에 대해 더 견고한 유연하고 확장 가능한 프레임워크를 제안한다.

제안 방법

• 각 후보 언급을 그 주변 맥락에 기반한 자연어 질문으로 변환함으로써 핵심 참조 해결을 스팬 예측 작업으로 재구성한다.
• 생성된 질문을 사용하여 스팬 예측 모듈을 통해 문서 내 핵심 참조 언급을 추출함으로써 初기 제안 단계에서 놓친 언급을 복구할 수 있다.
• 질문과 문서를 함께 인코딩하기 위해 사전 학습된 트랜스포머 기반 모델(예: BERT)을 사용하여 공동 표현 학습을 수행한다.
• 발화자 이름을 직접 발화문에 결합하여 입력으로 통합함으로써 대화 특화 신호를 더 효과적으로 모델링한다.
• 일반화 및 전이 학습 능력을 향상시키기 위해 기존 질문 응답 데이터셋(SQuAD, BoolQ 등)을 활용해 사전 학습한다.
• 다단계 학습 전략을 적용한다: 먼저 QA 데이터셋에서 사전 학습하고, 이후 엔드 투 엔드 최적화를 사용해 핵심 참조 전용 데이터셋에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 핵심 참조 해결이 질문 기반 스팬 예측 작업으로 효과적으로 재구성될 수 있는가? 이는 언급 재현율과 모델의 견고성을 향상시키는가?
• RQ2 기존 질문 응답 데이터셋을 얼마나 효과적으로 활용해 데이터 증강을 통해 핵심 참조 해결 성능을 향상시킬 수 있는가?
• RQ3 입력에서 발화자 신원을 명시적으로 모델링하면 다자 대화 설정에서 핵심 참조 해결 성능가 향상되는가?
• RQ4 질문 기반 모델링 방식은 표준 엔드 투 엔드 접근 방식에 비해 언급 맥락의 어휘적, 의미적, 문법적 신호를 더 깊이 있고 효과적으로 활용하는가?
• RQ5 제안된 방법은 초깃점 언급 제안 단계의 오류에 얼마나 민감한가? 그리고 놓친 언급을 효과적으로 복구할 수 있는가?

주요 결과

• CorefQA는 CoNLL-2012 벤치마크에서 기존 모델 대비 +3.5 향상된 83.1 F1 점수를 기록하며 새로운 최고 성능을 달성했다.
• GAP 벤치마크에서는 기존 방법 대비 +2.5 향상된 87.5 F1 점수를 기록하여 도전적인 대명사 해석 문제에 대해 강력한 일반화 능력을 입증했다.
• 특히 단어당 스팬 수(λ)가 작은 경우, 기준 모델 대비 상당히 높은 언급 재현율을 보이며 놓친 언급을 효과적으로 복구함을 확인했다.
• 제안된 발화자 모델링 전략—발화자 이름을 직접 발화문에 결합하는 방식—은 다수의 발화자가 존재하는 문서에서 이진 발화자 특성 인코딩보다 뛰어난 성능을 보였다.
• 기존 질문 응답 데이터셋에서 사전 학습하는 것이 성능 향상에 측정 가능한 기여를 하며, QA 스타일의 지도를 통한 데이터 증강의 효과성을 확인했다.
• 정성적 분석 결과, 모델은 장거리 후행 참조를 성공적으로 해결하고, 대화 맥락에서 발화자 신원을 활용하여 대명사를 정확히 그 전건어와 연결하는 데 성공했다.