[論文レビュー] Measuring agreement among several raters classifying subjects into one or more (hierarchical) categories: A generalization of Fleiss' kappa

Filip Moons, Ellen Vandervieren|arXiv (Cornell University)|Mar 22, 2023

Reliability and Agreement in Measurement被引用数 7

ひとこと要約

本稿では、複数のレーティング者が被験者を1つ以上の名義的カテゴリー（階層的・重み付きカテゴリーを含む）に分類する際の評価者間信頼性を測る一般化されたFleissのkappa統計量を導入する。これはFleissのkappaを拡張し、選択と非選択の両方における合意を考慮することで、レーティング者が複数のカテゴリーを割り当てても、確率補正済みの信頼性を保証する。また、単一カテゴリー分類の下ではFleissのkappaと整合性を保つ。

ABSTRACT

Cohen's and Fleiss' kappa are well-known measures of inter-rater agreement, but they restrict each rater to selecting only one category per subject. This limitation is consequential in contexts where subjects may belong to multiple categories, such as psychiatric diagnoses involving multiple disorders or classifying interview snippets into multiple codes of a codebook. We propose a generalized version of Fleiss' kappa, which accommodates multiple raters assigning subjects to one or more nominal categories. Our proposed $κ$ statistic can incorporate category weights based on their importance and account for hierarchical category structures, such as primary disorders with sub-disorders. The new $κ$ statistic can also manage missing data and variations in the number of raters per subject or category. We review existing methods that allow for multiple category assignments and detail the derivation of our measure, proving its equivalence to Fleiss' kappa when raters select a single category per subject. The paper discusses the assumptions, premises, and potential paradoxes of the new measure, as well as the range of possible values and guidelines for interpretation. The measure was developed to investigate the reliability of a new mathematics assessment method, of which an example is elaborated. The paper concludes with a worked-out example of psychiatrists diagnosing patients with multiple disorders. All calculations are provided as R script and an Excel sheet to facilitate access to the new $κ$ tatistic.

研究の動機と目的

• CohenのkappaやFleissのkappaといった既存の評価者間信頼性測定法の制限、すなわち被験者1人に対してレーティング者が正確に1つのカテゴリーを割り当てることを要件としている点を是正すること。
• 複数のカテゴリー割り当てを許容しつつ、解釈可能性と統計的厳密性を保った確率補正済信頼性測定法を開発すること。
• カテゴリー間の階層的依存関係（例：一次的および副次的障害）と合意計算におけるカテゴリーの重み付けされた重要性を組み込むこと。
• 被験者1人に対して1つのカテゴリーが割り当てられる状況ではFleissのkappaと整合性を保つこと。
• 精神科診断や教育的評価など、複数の診断や基準が一般的な研究文脈での実用的利用を可能にすること。

提案手法

• 提案されたkappa統計量は、観察された合意 $ P_o $ を、複数のカテゴリー割り当てを調整したレーティング者間の平均対比較合意として計算する。
• 確率的期待合意 $ P_e $ は、すべてのレーティング者と被験者におけるカテゴリー割り当ての周辺確率に基づいて定義される。
• 対称的な合意定義を用いる：2人のレーティング者が同じカテゴリーを両方選択するか、両方非選択する場合に合意とみなす。カテゴリー数にかかわらず成立する。
• Fleissの式を一般化し、$ x_{ic} $ を被験者 $ i $ に対してカテゴリー $ c $ を割り当てたレーティング者の数として定義する。このとき $ \sum_c x_{ic} > J $ であっても可とする。
• 重み付きカテゴリー（例：臨床的重要性による）と階層的構造（例：親カテゴリーが選択されていなければ子カテゴリーは利用不可）をサポートする。
• 欠損データと被験者またはカテゴリーごとのレーティング者数の変動に対応でき、現実のデータにおける頑健性を確保する。

Figure 1: NVivo advocates the pooled Cohen’s kappa approach in the provided Excel sheets to get an overall $\kappa$ of the coding process.

実験結果

リサーチクエスチョン

• RQ1 被験者に対してレーティング者が1つではなく複数のカテゴリーを割り当てる場合、評価者間信頼性はどのように測定できるか？
• RQ2 カテゴリーが階層的または重み付きである場合、適切な確率補正済合意係数とは何か？
• RQ3 プロポーショナルオーバーラップや確率補正済相関といった既存手法と比較して、提案された測定法は一貫性と解釈可能性においてどのように異なるか？
• RQ4 被験者1人に対して1つのカテゴリーが割り当てられる場合、提案された統計量がFleissのkappaと同等となるか？
• RQ5 信頼性分析において、両方のレーティング者が同一カテゴリーを非選択とする合意（非選択の合意）を無視することは、どのような実務的影響を及ぼすか？

主な発見

• 被験者1人に対してすべてのレーティング者が正確に1つのカテゴリーを割り当てる場合、提案されたkappa統計量はFleissのkappaに還元され、既存の手法と整合性を保つ。
• 選択と非選択の両方における合意を考慮するため、非選択を無視する手法が引き起こすバイアスを回避する。
• 階層的カテゴリー構造（例：一次的精神障害と関連する副次的障害）をモデル化することで、カテゴリー間の依存関係を扱える。
• 重み付きカテゴリーを組み込むことができ、研究者が文脈に応じてカテゴリーに異なる重要度を割り当てられる。
• 欠損データと被験者またはカテゴリーごとのレーティング者数の変動に対応でき、実用的応用性が向上する。
• 著者らは採用促進のためRパッケージのリリースを計画しており、代替手法と比較して低い平均二乗誤差を示すシミュレーション研究の実施も予定されている。

Figure 2: Example question of the math assessment tool