[논문 리뷰] Bias and Agreement in Syntactic Annotations.

Yevgeni Berzak, Yan Huang외 3명|arXiv (Cornell University)|2016. 05. 15.

Natural Language Processing Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 인간의 문법적 어노테이션에서의 앵커링 편향을 조사하며, 편집자가 파서 출력을 수정할 때 파서 성능을 과대평가하고 낮은 품질의 어노테이션을 생성한다는 것을 입증한다. 펜 트리뱅크 WSJ 데이터를 사용하여, 현재 최고 수준의 파서 성능과 비슷한 수준의 제어된 이면자 간 일치도 추정치를 제공하며, 이는 어노테이션 설계와 파서 평가에 중요한 영향을 미친다.

ABSTRACT

We present a study on two key characteristics of human syntactic annotations: anchoring and agreement. Anchoring is a well known cognitive bias in human decision making, where judgments are drawn towards pre-existing values. We study the influence of anchoring on a standard approach to creation of syntactic resources where syntactic annotations are obtained via human editing of tagger and parser output. Our experiments demonstrate a clear anchoring effect and reveal unwanted consequences, including overestimation of parsing performance and lower quality of annotations in comparison with human-based annotations. Using sentences from the Penn Treebank WSJ, we also report the first systematically obtained inter-annotator agreement estimates for English syntactic parsing. Our agreement results control for anchoring bias, and are consequential in that they are \emph{on par} with state of the art parsing performance for English. We discuss the impact of our findings on strategies for future annotation efforts and parser evaluations.

연구 동기 및 목표

• 파서 출력을 편집할 때 앵커링 편향이 인간의 문법적 어노테이션에 어떻게 영향을 미치는지 조사하기 위해.
• 앵커링이 어노테이션 품질과 파서 성능에 대한 인식에 미치는 영향을 정량화하기 위해.
• 영어 문법 구문 분석에 대해 이면자 간 일치도의 체계적이고 제어된 추정치를 제공하기 위해.
• 앵커링과 일치도가 향후 어노테이션 전략과 파서 평가에 미치는 영향을 평가하기 위해.

제안 방법

• 펜 트리뱅크 WSJ 코퍼스에서 생성된 파서 기반 문법적 구조를 수정하기 위해 인간 어노테이터를 활용한 실험을 수행하였다.
• 초기 파서 출력과의 비교를 통해 앵커링 효과를 고립하고 측정하기 위해 제어된 어노테이션 절차를 적용하였다.
• 실험 설계를 통해 앵커링 편향을 고려하면서 이면자 간 일치도 점수를 수집하였다.
• 통계적 분석을 통해 인간 기반 골드 표준 어노테이션과 비교하여 어노테이션 품질과 성능 추정치를 분석하였다.
• 신뢰성 확보를 위해 편향 제어 조건 하에서 이면자 간 일치도 지표를 보고하였다.
• 발견 결과를 해석하기 위해 최고 수준의 파서 성능과 일치도 수준을 비교 평가하였다.

실험 결과

연구 질문

• RQ1 파서 출력을 편집할 때 앵커링 편향이 인간의 문법적 어노테이션에 얼마나 영향을 미치는가?
• RQ2 앵커링은 어노테이션 작업에서 실제와 인식된 파서 성능에 어떻게 영향을 미치는가?
• RQ3 앵커링 편향이 제어된 조건에서 문법 구문 분석의 진정한 이면자 간 일치도 수준은 얼마인가?
• RQ4 제어된 일치도 추정치는 영어에서 최고 수준의 파서 성능와 어떻게 비교되는가?
• RQ5 앵커링과 일치도가 향후 어노테이션 및 평가 관행에 미치는 영향은 무엇인가?

주요 결과

• 앵커링 편향은 문법 어노테이션에 상당한 영향을 미치며, 파서 성능을 과대평가하게 만든다.
• 파서 출력을 편집하여 생성된 어노테이션은 골드 표준 인간 어노테이션보다 품질이 떨어진다.
• 앵커링을 제어한 조건에서의 이면자 간 일치도는 최고 수준의 파서 모델과 비슷한 수준에 도달한다.
• 제어된 일치도 추정치는 파서 시스템 평가를 위한 신뢰할 수 있는 기준이 된다.
• 앵커링 효과는 어노테이션의 품질과 인식된 정확도를 모두 왜곡한다.
• 연구 결과는 편향을 완화하기 위해 재설계된 어노테이션 방법론과 평가 프로토콜이 필요하다는 점을 강조한다.