[논문 리뷰] End-to-end Multilingual Coreference Resolution with Mention Head Prediction

Ondřej Pražák, Miloslav Konopík|arXiv (Cornell University)|2022. 09. 26.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 XLM-RoBERTa-large를 사용하여 통합 다국어 미리 훈련을 수행하면서 언급어 헤드 예측을 통해 성능을 향상시키는 엔드 투 엔드 다국어 공명 해결 모델을 제시한다. 이 시스템은 CRAC 2022 공동 과제에서 3위를 기록했으며, 헤드 단어 스팬을 직접 최적화하여 CoNLL F1 점수를 높여 두 데이터셋에서 1위를 기록했다. 이는 헤드 예측이 공식 평가 지표와의 정렬을 향상시킨다는 것을 보여준다.

ABSTRACT

This paper describes our approach to the CRAC 2022 Shared Task on Multilingual Coreference Resolution. Our model is based on a state-of-the-art end-to-end coreference resolution system. Apart from joined multilingual training, we improved our results with mention head prediction. We also tried to integrate dependency information into our model. Our system ended up in $3^{rd}$ place. Moreover, we reached the best performance on two datasets out of 13.

연구 동기 및 목표

• 13개 언어에서 단일 모델을 사용하여 통합적이고 엔드 투 엔드 프레임워크로 다국어 공명 해결을 해결하고자 한다.
• 공식 CoNLL F1 스코어를 직접 최적화하기 위해 모델 예측을 공식 평가자인 최소 언급 스팬(헤드워드 중심)와 일치시킴으로써 CRAC 2022 공동 과제에서 성능을 향상시키고자 한다.
• 전체 스팬 대신 언급어 헤드를 예측하는 것이 평가 지표와의 정렬을 향상시키는지 조사하고자 한다.
• 의존성 트리와 같은 문법적 구조를 모델에 통합하여 공명 해결 성능을 향상시킬 수 있는지 탐색하고자 한다.
• 저자원 언어에서 공동 다국어 미리 훈련과 단일 언어 미세조정의 효과를 평가하고자 한다.

제안 방법

• 모델은 모든 가능한 언급 스팬에서 직접 군집 기반의 전후관계를 예측하는 트랜스포머 기반 엔드 투 엔드 공명 해결 프레임워크에 기반한다. 사전 언급 탐지 없이도 작동한다.
• 기본 인코더로 XLM-RoBERTa-large를 사용하며, 미세조정 이전에 모든 13개의 CorefUD 데이터셋을 통합하여 다국어 미리 훈련을 수행한다.
• 언급 표현에 대해 헤드워드를 예측하기 위한 전용 헤드 예측 헤드를 추가하여, CoNLL 스코어에서 사용하는 최소 스팬을 최적화한다.
• 클러스터링 동안 언급은 전체 스팬으로 표현되지만, 평가에는 오직 예측된 헤드만 사용되어 스코어러의 부분적 언급 매칭 규칙과 일치시킨다.
• 의존성 트리 정보를 통해 문법적 구조를 통합하려 했으나, 구현 문제로 인해 성능 향상이 이루어지지 않았다.
• 훈련 중에는 정확한 전후관계의 최대 마진 로그우도를 최대화하며, 이는 $ J(D) = ext{log} ig( ext{prod}_{i=1}^{N} ext{sum}_{ ext{y} ext{ in } Y(i) ext{ and GOLD}(i)} P( ext{y}) ig) $ 로 정의된다.

실험 결과

연구 질문

• RQ1 공동 과제 환경에서 저자원 언어와 고자원 언어 모두에서 공동 다국어 미리 훈련이 공명 해결 성능을 향상시키는가?
• RQ2 전체 스팬 대신 언급어 헤드만 예측하는 것이 CoNLL F1 스코어러가 최소 스팬을 사용하는 데서 얼마나 잘 정렬되는가?
• RQ3 의존성 트리에서 유래한 문법적 구조가 엔드 투 엔드 공명 모델에 효과적으로 통합되어 성능 향상에 기여하는가?
• RQ4 다국어 모델의 매개변수 수가 더 많음에도 불구하고 폴란드어에서 단일 언어 모델이 더 뛰어난 성능을 내는 이유는 무엇인가?
• RQ5 싱글턴과 비연속적 언급 비율이 다른 언어들에서 모델의 성능은 어떻게 변하는가?

주요 결과

• 이 시스템은 CRAC 2022 공동 과제에서 총 평균 CoNLL F1 점수 65.94로 3위를 기록했다.
• 독일어-ParCorFull(73.90 F1)과 헝가리어-SzegedKoref(65.01 F1) 두 데이터셋에서 다른 모든 시스템을 뛰어넘어 최고 성능을 기록했다.
• 공동 다국어 미리 훈련은 작은 데이터셋(예: 독일어)에서 특히 뚜렷한 성능 향상을 이끌었으며, 무작위 초기화에서의 미세조정은 실현 가능하지 않았다.
• 언급어 헤드 예측은 세 데이터셋에서 측정 가능한 성능 향상을 가져왔으며, 이는 스코어러의 최소 스팬 규칙과의 정렬이 평가 점수 향상에 기여함을 시사한다.
• 의존성 트리 정보 통합은 이론적으로는 문법적 향상 잠재력을 지녔지만, 구현 버그로 인해 결과 향상이 이루어지지 않았다.
• 폴란드어의 단일 언어 모델이 다국어 XLM-RoBERTa-large 모델보다 뛰어난 성능을 보였으며, 이는 고품질의 대규모 단일 언어 모델과 데이터셋의 크기 덕분으로 보인다.