[논문 리뷰] Applying Reliability Metrics to Co-Reference Annotation

Rebecca J. Passonneau|arXiv (Cornell University)|1997. 01. 01.

Natural Language Processing Techniques참고 문헌 6인용 수 18

한 줄 요약

이 논문은 코히너의 카파를 핵심 참조 주석의 신뢰성 평가를 위한 더 신뢰할 수 있는 지표로 사용함으로써, 재현율과 정밀도를 교차표에 적응시켜 제안한다. 이는 우연한 일치로 인해 이러한 표준 지표가 잘못된 방향으로 높아질 수 있음을 보여주며, 기존 기준 주석이 존재하지 않을 경우 카파가 더 바람직한 대안이 되는 것을 입증한다.

ABSTRACT

Studies of the contextual and linguistic factors that constrain discourse phenomena such as reference are coming to depend increasingly on annotated language corpora. In preparing the corpora, it is important to evaluate the reliability of the annotation, but methods for doing so have not been readily available.In this report, I present a method for computing reliability of coreference annotation. First I review a method for applying the information retrieval metrics of recall and precision to coreference annotation proposed by Marc Vilain and his collaborators. I show how this method makes it possible to construct contingency tables for computing Cohen's Kappa, a familiar reliability metric. By comparing recall and precision to reliability on the same data sets, I also show that recall and precision can be misleadingly high. Because Kappa factors out chance agreement among coders, it is a preferable measure for developing annotated corpora where no pre-existing target annotation exists.

연구 동기 및 목표

• 언어학적 코퍼스에서 핵심 참조 주석 품질 평가를 위한 신뢰할 수 있는 방법의 부족을 해결하기 위해.
• 재현율과 정밀도와 같은 전통적인 정보 검색 지표가 주석의 신뢰성 측정에 충분한지 평가하기 위해.
• 기존 기준 주석이 없을 경우, 우연한 일치로 인해 재현율과 정밀도가 과도하게 높아져 잘못된 해석을 유도할 수 있음을 입증하기 위해.
• 기존 기준 주석이 존재하지 않을 경우, 코히너의 카파가 핵심 참조 주석의 더 적절한 신뢰성 지표가 되는지 확립하기 위해.
• 코히너 주석에서 교차표를 구성하여 카파를 계산할 수 있는 실용적인 방법을 제공하기 위해.

제안 방법

• Marc Vilain 등이 제안한 재현율과 정밀도 프레임워크를 핵심 참조 주석에 적응시키기 위해, 정확한 및 예측된 핵심 참조 링크를 정의한다.
• 코딩자 간 일치와 불일치를 바탕으로 교차표(진정 양성, 위양성, 위음성, 진정 음성)를 구성한다.
• 교차표를 사용하여, 평가자 간 우연한 일치를 보정하는 코히너의 카파를 계산한다.
• 실제 핵심 참조 주석 데이터에 카파 통계량을 적용하여 재현율과 정밀도와의 신뢰성 비교를 수행한다.
• 동일한 데이터셋에서 카파 값과 재현율, 정밀도를 대비하여 방법을 검증한다.
• 카파가 재현율과 정밀도만으로 평가하는 것보다 상호 주석자 간 신뢰성 평가에 더 정확한 측정을 제공함을 입증한다.

실험 결과

연구 질문

• RQ1 재현율과 정밀도는 핵심 참조 주석 품질의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ2 우연한 일치가 핵심 참조 주석에서 재현율과 정밀도를 어느 정도 과도하게 높이는가?
• RQ3 코히너의 카파는 핵심 참조 주석에서 재현율과 정밀도보다 더 적절한 신뢰성 지표인가?
• RQ4 어떻게 하면 핵심 참조 주석에서 교차표를 구성하여 카파를 계산할 수 있는가?
• RQ5 기존 기준 주석이 없을 경우, 카파가 더 정확한 신뢰성 평가를 제공하는가?

주요 결과

• 코딩자 간 우연한 일치로 인해 재현율과 정밀도는 주석 품질이 낮을지라도 잘못된 방향으로 높아질 수 있다.
• 코히너의 카파는 우연한 일치를 효과적으로 보정하여, 상호 주석자 간 신뢰성의 더 정확한 측정을 제공한다.
• 이 방법은 기존 기준 주석이 없더라도 핵심 참조 주석에서 교차표를 구성하고 카파를 계산할 수 있도록 한다.
• 기존 기준 주석이 존재하지 않는 환경에서는 카파가 더 바람직한 신뢰성 지표로 입증된다.
• 재현율과 정밀도보다 카파의 사용은 주석 품질 평가에 더 보수적이고 신뢰할 수 있는 평가를 이끈다.
• 제안된 방법은 논의 주석 프로젝트에서 주석 신뢰성 평가를 위한 실용적이고 신뢰할 수 있는 프레임워크를 제공한다.