[논문 리뷰] ezCoref: Towards Unifying Annotation Guidelines for Coreference Resolution

Ankita Gupta, Marzena Karpinska외 6명|arXiv (Cornell University)|2022. 10. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

ezCoref는 7개의 영어 데이터셋에서 재재작성된 문장들에 대해 전문가 지침과의 B3 일치도 90% 이상을 달성할 수 있도록 비전문가 평가자들이 활용할 수 있는 캐스크라우드 친화적 핵심참조 주석 프레임워크를 도입한다. 이 방법은 기존 지침서에 존재하는 모순—특히 일반적 대명사와 동격어에 관해—를 드러내며, 향후 주석 표준에서 통합되어야 할 핵심 현상들을 규명한다.

ABSTRACT

Large-scale, high-quality corpora are critical for advancing research in coreference resolution. However, existing datasets vary in their definition of coreferences and have been collected via complex and lengthy guidelines that are curated for linguistic experts. These concerns have sparked a growing interest among researchers to curate a unified set of guidelines suitable for annotators with various backgrounds. In this work, we develop a crowdsourcing-friendly coreference annotation methodology, ezCoref, consisting of an annotation tool and an interactive tutorial. We use ezCoref to re-annotate 240 passages from seven existing English coreference datasets (spanning fiction, news, and multiple other domains) while teaching annotators only cases that are treated similarly across these datasets. Surprisingly, we find that reasonable quality annotations were already achievable (>90% agreement between the crowd and expert annotations) even without extensive training. On carefully analyzing the remaining disagreements, we identify the presence of linguistic cases that our annotators unanimously agree upon but lack unified treatments (e.g., generic pronouns, appositives) in existing datasets. We propose the research community should revisit these phenomena when curating future unified annotation guidelines.

연구 동기 및 목표

• 전문가 평가자에 대한 의존도를 줄이기 위해 확장 가능하고 캐스크라우드 친화적인 핵심참조 주석 방법론을 개발하는 것.
• 최소한의 언어학적 훈련만으로도 비전문가 평가자들이 전문가 주석과 높은 일치도를 달성할 수 있는지 평가하는 것.
• 현행 주석 지침서에 부족한 부분이 드러나는 언어 현상들—즉, 대중과 전문가 주석 간의 이질성이 나타나는 영역—를 특정하는 것.
• 기존 데이터셋 간의 일관성 부족을 폭 드러내어 향후 공동체 수준의 통합 주석 지침서 제작을 촉진하는 것.

제안 방법

• 기존 데이터셋에서 일관되게 다루어지는 핵심참조 사례들(예: 대명사)만을 다루는 상호작용적이고 튜토리얼 기반의 주석 인터페이스를 설계하는 것.
• 아마존 메카니컬 터크를 활용해 7개의 다양한 영어 핵심참조 데이터셋(소설, 뉴스 등)에서 240개의 문장 조각을 최소한의 훈련으로 재주석하는 것.
• 참조 언급 및 클러스터 수준에서의 일치도를 측정하기 위해 B3 F1 점수를 사용해 캐스크라우드 주석과 전문가 주석을 정량적으로 비교하는 것.
• 캐스크라우드 주석과 전문가 주석 간의 불일치를 정성적으로 분석하여, 현재 주석 지침서에서 일관되지 않게 다뤄지는 언어 현상들을 특정하는 것.
• 일반 텍스트와 복잡한 텍스트(예: 소설 대비 후행지시어나 세계지식 의존성이 높은 텍스트) 간의 주석자 간 일치도를 분석하여 성능 차이를 평가하는 것.
• 모든 도구, 튜토리얼, 데이터를 오픈소스 라이선스 하에 공개하여 재현 가능성과 향후 연구 지원을 위한 기반을 마련하는 것.

실험 결과

연구 질문

• RQ1 비전문가 캐스크라우드 작업자들이 최소한의 통합 지침서만으로도 전문가 핵심참조 주석과 높은 일치도를 달성할 수 있는가?
• RQ2 기존 전문가 주석 데이터셋에서 일관되지 않게 다뤄지지만, 캐스크라우드에서 일관되게 처리되는 언어 현상은 무엇인가?
• RQ3 텍스트 유형(예: 소설, 뉴스)은 캐스크라우드 작업자 간 주석 일치도에 어떤 영향을 미치는가?
• RQ4 현재 주석 지침서의 결함을 드러내는 데서 캐스크라우드와 전문가 주석 간의 주요 차이점은 무엇인가?

주요 결과

• 비전문가 평가자들이 재주석된 문장들에 대해 전문가 주석과 90% 이상의 B3 F1 일치도를 달성하여, 최소한의 훈련만으로도 고품질의 핵심참조 데이터를 확보할 수 있음을 입증하였다.
• 캐스크라우드 작업자들은 일반적 대명사인 'you'와 'we'를 모두 핵심참조로 일관되게 표기했지만, 기존 데이터셋은 이들을 일관되지 않게 처리—일부는 비참조로, 일부는 표기 없이 처리—하여 표준화 부족을 드러냈다.
• 동격어와 수식어 구문 역시 캐스크라우드에서는 일관되게 핵심참조로 처리했지만 전문가 데이터셋에서는 일관되지 않게 다뤄져 통합 처리의 필요성을 시사했다.
• 주석자 간 일치도는 친숙한 텍스트(예: 어린이 이야기, 소설)에서는 높았지만, 복잡한 후행지시어나 세계지식 의존성이 높은 텍스트에서는 떨어졌다.
• 상호작용적 튜토리얼은 매우 긍정적인 평가를 받았으며, 한 평가자는 이를 '내가 본 바에서 가장 좋은 것'이라고 평가하여 사용성과 효과성의 높음을 입증했다.
• 이 연구는 특히 일반적 대명사와 동격어와 같은 언어 현상들이 향후 통합 주석 지침 개발 시 재검토되어야 할 핵심 후보로 규명하였다.