[논문 리뷰] Assessing agreement on classification tasks: the kappa statistic

Jean Carletta|ArXiv.org|1996. 02. 27.

Speech and dialogue systems참고 문헌 14인용 수 2,093

한 줄 요약

본 논문은 담론 및 대화 연구에서 사용되는 기존 신뢰도 측정치가 해석하기 어렵다고 주장하고, 코더 간 신뢰도(inter-coder reliability)의 표준으로 카파(kappa) 통계를 제안한다.

ABSTRACT

Currently, computational linguists and cognitive scientists working in the area of discourse and dialogue argue that their subjective judgments are reliable using several different statistics, none of which are easily interpretable or comparable to each other. Meanwhile, researchers in content analysis have already experienced the same difficulties and come up with a solution in the kappa statistic. We discuss what is wrong with reliability measures as they are currently used for discourse and dialogue work in computational linguistics and cognitive science, and argue that we would be better off as a field adopting techniques from content analysis.

연구 동기 및 목표

• 담론 및 대화 연구에서 기존 신뢰도 측정의 한계를 강조한다.
• 카파 통계를 우연에 의한 조정 없이의 합의 측정지표 대신 명확하고 해석 가능한 대안으로 제안한다.
• 신뢰도 결과의 교차 연구 비교를 가능하게 하도록 콘텐츠 분석 관행의 적용을 촉진한다.

제안 방법

• 담론 및 대화 연구에서 널리 사용되는 네 가지 신뢰도 측정치의 검토 및 비판.
• 카파 통계와 이를 우연 보정된 합의 지표로서의 해석을 도입한다.
• 카파를 대안 지표와 비교하고 연구 간 비교에 대한 시사점을 논의한다.
• 전문가 코더와 초보 코더의 역할과 카파가 이러한 시나리오를 어떻게 다루는지 논의한다.

실험 결과

연구 질문

• RQ1 담론 및 대화 코딩에 사용되는 기존 신뢰도 측정의 한계는 무엇인가.
• RQ2 카파 통계가 우연 합의 및 해석 가능성에 어떻게 대응하는가?
• RQ3 이 분야에서 전문 코더와 초보 코더를 카파를 적용할 때 어떻게 다루어야 하는가?

주요 결과

• 기존 신뢰도 측정치들은 해석하기 어렵고 연구 간 비교가 불가능하다.
• 카파는 우연 합의를 보정하고 여러 코더 간에 단일하고 비교 가능한 신뢰도 지표를 제공한다.
• 카파를 채택하면 표준 진단과 연구 간 코딩 신뢰도 비교가 가능해진다.