[論文レビュー] Assessing agreement on classification tasks: the kappa statistic

Jean Carletta|ArXiv.org|Feb 27, 1996

Speech and dialogue systems参考文献 14被引用数 2,093

ひとこと要約

本論文は、談話・対話研究で用いられる既存の信頼性指標は解釈が難しいと主張し、インターコーダー信頼性の標準で解釈しやすい指標としてカッパ統計量を提案する。

ABSTRACT

Currently, computational linguists and cognitive scientists working in the area of discourse and dialogue argue that their subjective judgments are reliable using several different statistics, none of which are easily interpretable or comparable to each other. Meanwhile, researchers in content analysis have already experienced the same difficulties and come up with a solution in the kappa statistic. We discuss what is wrong with reliability measures as they are currently used for discourse and dialogue work in computational linguistics and cognitive science, and argue that we would be better off as a field adopting techniques from content analysis.

研究の動機と目的

• 談話・対話研究における既存の信頼性指標の欠点を浮き彫りにする。
• カッパ統計量を、偶然一致に未調整の同意指標の明確で解釈しやすい代替として提案する。
• 信頼性結果の研究間比較を可能にするため、内容分析手法の採用を提唱する。

提案手法

• 談話・対話研究で用いられる4つの一般的な信頼性指標のレビューと批評。
• カッパ統計量を導入し、偶然補正済みの同意指標としての解釈を提示する。
• カッパを他の指標と比較し、研究間の比較への影響を論じる。
• 専門家コーダーと素人コーダーの役割、およびカッパがこれらの状況をどう扱うかを論じる。

実験結果

リサーチクエスチョン

• RQ1 談話・対話のコーディングに用いられる既存の信頼性指標の限界は何か。
• RQ2 カッパ統計量は偶然一致と解釈性をコーダーの信頼性にどのように対応させるか。
• RQ3 本領域でカッパを適用する際、専門家コーダーと素人コーダーをどのように扱うべきか。

主な発見

• 既存の信頼性指標は解釈が難しく、研究間で比較できない。
• カッパは偶然一致を補正し、複数のコーダー間で単一の比較可能な信頼性指標を生み出す。
• カッパを採用することで標準的な診断と研究間のコーディング信頼性の比較可能性が実現される。