[논문 리뷰] A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution

Hongming Zhang, Xinran Zhao외 1명|arXiv (Cornell University)|2020. 09. 27.

Natural Language Processing Techniques참고 문헌 51인용 수 4

한 줄 요약

이 종합 조사에서는 최근의 관계어 공명해석(PCR) 기술 발전을 종합적으로 분석하며, Winograd Schema Challenge와 같은 표준 및 도전적인 벤치마크에서 모델들을 비교한다. 연구 결과, 최신 기술 모델들 역시 도메인 간 일반화 및 희귀 대명사 어휘에 대해 어려움을 겪고 있음을 확인하였으며, 이는 표준 평가 지표에서 뛰어난 성능을 보임에도 불구하고 공통된 지식 추론 능력과 내구성에 한계가 있음을 시사한다.

ABSTRACT

Pronoun Coreference Resolution (PCR) is the task of resolving pronominal expressions to all mentions they refer to. Compared with the general coreference resolution task, the main challenge of PCR is the coreference relation prediction rather than the mention detection. As one important natural language understanding (NLU) component, pronoun resolution is crucial for many downstream tasks and still challenging for existing models, which motivates us to survey existing approaches and think about how to do better. In this survey, we first introduce representative datasets and models for the ordinary pronoun coreference resolution task. Then we focus on recent progress on hard pronoun coreference resolution problems (e.g., Winograd Schema Challenge) to analyze how well current models can understand commonsense. We conduct extensive experiments to show that even though current models are achieving good performance on the standard evaluation set, they are still not ready to be used in real applications (e.g., all SOTA models struggle on correctly resolving pronouns to infrequent objects). All experiment codes are available at https://github.com/HKUST-KnowComp/PCR.

연구 동기 및 목표

• 표준 및 도전적인 벤치마크에서 최근의 관계어 공명해석(PCR) 기술 발전을 조사하기 위해.
• 현재 모델들이 공통 지식 추론 능력을 얼마나 잘 발휘하는지, 특히 Winograd Schema Challenge와 같은 어려운 케이스에서 어떻게 작동하는지 평가하기 위해.
• 기존 모델의 주요 한계를 특정화하기 위해, 특히 희귀 또는 흔하지 않은 대명사 어휘 및 도메인 간 일반화에서의 낮은 성능을 중심으로 분석하기 위해.
• PCR 분야의 데이터셋, 모델, 평가 프로토콜에 대한 통합적 개요를 제공하여未래 연구를 지원하기 위해.
• 재현 가능한 연구와 PCR 분야의 모델 개선을 장려하기 위해 코드 및 자원을 공개하기 위해.

제안 방법

• 저자들은 일반적인 관계어 공명해석을 위한 대표적인 데이터셋과 모델들을 비교 조사하며, CoNLL-2012 및 최근의 엔드 투 엔드 모델을 포함한다.
• 금속 언급 정보가 있는지 여부에 따라 CoNLL-2012 데이터셋에서 최신 기술 모델을 평가하여, 관계어에서 언급어로의 예측 과제를 분리한다.
• 공통 지식 추론 능력을 평가하기 위해 Winograd Schema Challenge(WSC)에서의 모델 성능을 분석하며, 사전 학습된 언어 모델과 미세조정된 변종 간 성능을 비교한다.
• 저자들은 특히 자원이 부족하거나 도메인 외부의 상황에서의 성능에 영향을 미치는 하이퍼파rameter 민감도를 분석하기 위해 광범위한 추론 실험을 수행한다.
• 의료, 다국어, 대화형, 성별 편향, 시각 인식 기반 PCR과 같은 특수한 PCR 작업을 조사하며, 도메인 특화된 과제와 데이터셋을 강조한다.
• 모든 실험 코드는 GitHub를 통해 공개되어 재현성과 커뮤니티 기반의 모델 개발을 지원한다.

실험 결과

연구 질문

• RQ1 현재 최신 기술 모델들은 표준 관계어 공명해석 벤치마크에서 어떻게 성능을 내며, 실제 적용 시에 어떤 한계를 보이는가?
• RQ2 기존 모델들은 Winograd Schema Challenge를 통해 공통 지식 추론 능력을 얼마나 잘 발휘할 수 있는가?
• RQ3 표준 평가 지표에서 성능이 높은데도 불구하고, 왜 모델들은 흔하지 않은 대명사 어휘에 대해 여전히 관계어를 해석하는 데 어려움을 겪는가?
• RQ4 현재 모델들은 하이퍼파rameter 설정에 얼마나 민감한가? 이는 실용적 응용에서의 신뢰성에 영향을 미칠 수 있는가?
• RQ5 의료, 대화형, 또는 시각 인식 기반 설정과 같은 특수한 PCR 작업 간 성능 차이는 무엇인가?

주요 결과

• 표준 평가 세트에서 뛰어난 성능을 보임에도 불구하고, 최신 기술 모델들은 도메인 간 일반화에 실패하며, 특히 흔하지 않은 대명사 어휘에 대해 어려움을 겪는다.
• 금속 언급 정보가 없는 CoNLL-2012 데이터셋에서 엔드 투 엔드 모델은 F1 점수 0.705를 기록하지만, NP-P 및 NP-NP 관계에서는 성능이 크게 떨어지며, 이는 관계어에서 명사구로의 해석 과제가 여전히 가장 도전적인 하위 과제임을 시사한다.
• 모든 최신 기술 모델들이 흔하지 않은 대상에 대해 관계어를 해석하는 데 어려움을 겪고 있어, 데이터 효율성과 OOV(Out-of-Vocabulary) 일반화 능력에 심각한 격차가 있음을 시사한다.
• 미세조정된 사전 학습된 언어 모델은 Winograd Schema Challenge에서 인간 수준에 근접한 성능을 달성하지만, 하이퍼파rameter 설정에 매우 민감하여 실생활 적용에서의 신뢰성에 제약이 있다.
• 시각 인식 기반 PCR 작업에서는 대화에서 15%의 관계어가 언급되지 않은 시각적 대상을 가리키며, 이는 강력한 대화 이해를 위해 다중 모odal 기반 기반의 중요성을 강조한다.
• 사전 학습된 모델들 내부에는 성별 편향이 여전히 존재하며, 'he'와 같은 관계어가 의사, 남성 관련 역할 등에 비해 지나치게 연결되어 있어, NLP 시스템 내에서 편향 완화가 필요하다는 점을 시사한다.