[논문 리뷰] Can we Fix the Scope for Coreference? Problems and Solutions for Benchmarks beyond OntoNotes

Amir Zeldes|arXiv (Cornell University)|2021. 12. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 온토노트와 같은 핵심 공명성 기준이 형태구문적 신호에 과도하게 의존하고 일반성, 부정확한 추론, 예측과 같은 핵심 현상을 배제함으로써 의미적 및 다국어적 제약을 겪는다고 주장한다. 의미 중심, 영역 분리형 공명성 주석 방식으로의 전환을 제안하며, 더 넓고 민감한 주석 기준을 통해 다국어 및 다도메인 자연어 처리 작업의 신뢰성과 적용 가능성을 높이자고 주장한다.

ABSTRACT

Current work on automatic coreference resolution has focused on the OntoNotes benchmark dataset, due to both its size and consistency. However many aspects of the OntoNotes annotation scheme are not well understood by NLP practitioners, including the treatment of generic NPs, noun modifiers, indefinite anaphora, predication and more. These often lead to counterintuitive claims, results and system behaviors. This opinion piece aims to highlight some of the problems with the OntoNotes rendition of coreference, and to propose a way forward relying on three principles: 1. a focus on semantics, not morphosyntax; 2. cross-linguistic generalizability; and 3. a separation of identity and scope, which can resolve old problems involving temporal and modal domain consistency.

연구 동기 및 목표

• 온토노트 공명성 주석 체계의 핵심적 한계를 특정하고 비판하는 것, 특히 정의성 및 보조 동사 구조와 같은 형태구문적 신호에 대한 과도한 의존성.
• 일반성, 부정확한 추론, 예측과 같은 현상의 배제가 직관에 어긋나는 시스템 행동과 실용적 활용도 감소를 초래하는 방식을 부각하는 것.
• 문자구문이 아닌 의미에 기반한 새로운 공명성 주석 표준을 주장하며, 더 나은 다국어 일반화 및 다국어 적용 가능성을 보장하는 것.
• 공명성 해석에서 정체성과 영역을 분리함으로써 시간적, 모odal, 논의 의미 영역에 대한 더 세밀한 모델링을 가능하게 하는 것.
• 특히 고급 자연어 처리 응용 분야를 위해 제한적인 ON 표준 대신 GUM 및 ARRAU와 같은 더 넓고 포괄적인 주석 체계의 도입을 장려하는 것.

제안 방법

• 형태구문적 형태인 정의성 또는 보조 동사 구조와 같은 것들보다는 참조 의미를 우선시하는 의미 중심 공명성 주석 방식으로의 전환 제안.
• 공명성 정체성과 영역을 분리하는 원칙 도입으로 시간적, 모달적, 논의 의미 영역을 별도로 모델링할 수 있도록 하는 것.
• 이전에 배제된 현상들—일반성, 부정확한 추론 어휘, 예측—을 공명성 주석 내에서 별도의 하위 유형으로 포함시키기 위한 주장.
• 기존의 다층 코퍼스인 GUM 및 ARRAU를 더 넓고 민감한 주석의 모델로 활용하여, 필요에 따라 이러한 자료를 ON 스타일 형식으로 변환할 수 있음을 보여주는 것.
• Universal Dependencies와 같은 이니셔티브를 영감으로 삼아 공명성에 대한 보편적 표준 개발을 지지함으로써 언어 및 논의 유형 간 일관성을 확보하는 것.
• 다양한 주석 체계와의 일치를 위해 문장 구조를 데이터 조작 도구로 활용함(예: 복합 수식어 제거, 동격 어구 재형식화 등).

실험 결과

연구 질문

• RQ1 온토노트로 훈련된 공명성 시스템이 일반성, 부정확한 추론, 보조 동사 예측을 처리할 때 왜 직관에 어긋나는 결과를 낳는가?
• RQ2 공명성 주석은 영어를 초월해 다른 언어와의 일관성과 적용 가능성을 어떻게 향상시킬 수 있는가?
• RQ3 현재 기준에서 참조성 인식과 공명성 해석을 혼동함으로써 발생하는 결과는 무엇인가?
• RQ4 공명성 주석에서 정체성과 영역을 얼마나 의미 있게 분리할 수 있는가? 이는 모델의 해석 가능성과 성능 향상에 어떤 영향을 미치는가?
• RQ5 신뢰성 손실 없이 형태구문적 형태보다 의미적 참조를 우선시하는 주석 지침을 어떻게 재구성할 수 있는가?

주요 결과

• 온토노트 주석 체계는 일반성, 부정확한 추론, 예측과 같은 핵심 현상을 배제하여, 높은 일치도 점수에도 불구하고 일관성 없고 직관에 어긋나는 시스템 행동을 초래한다.
• 온토노트로 훈련된 시스템은 반복되는 부정확한 명사구나 일반성 명사구의 참조 연속성조차 인식하지 못하는 경우가 많지만, 이러한 참조는 의미적으로 타당하다.
• 정의성 및 보조 동사 구조와 같은 형태구문적 신호에 대한 의존성은 공명성 시스템의 다른 언어나 비영어 코퍼스로의 이식 가능성을 제한한다.
• 공명성 해석에서 정체성과 영역을 분리하면 시간적 및 모달적 영역 일관성에 대한 더 정확한 모델링이 가능해지며, 오랫동안 애초에 발생한 인터페이스 문제를 해결할 수 있다.
• GUM 및 ARRAU와 같은 코퍼스는 더 넓고 의미 중심의 주석 체계가 실현 가능하며, ON 스타일 제약보다 더 정보가 풍부하다는 것을 보여준다.
• 기존 코퍼스인 GUM을 ON 유사 형식(예: OntoGUM)으로 변환하는 것은 가능하고 유용하지만, ON에 누락된 현상을 추가하는 것은 초기부터 포괄적인 주석을 적용하는 것보다 훨씬 어렵다.