[論文レビュー] krippendorffsalpha: An R Package for Measuring Agreement Using Krippendorff's Alpha Coefficient

John P. Hughes|arXiv (Cornell University)|Mar 22, 2021

Reliability and Agreement in Measurement被引用数 6

ひとこと要約

この論文は、名目尺度、順序尺度、インターバル尺度、比率尺度の各水準における評価者間一致を測定するためのKrippendorffのアルファ係数を実装するRパッケージkrippendorffsalphaを紹介する。このパッケージは、ユーザー定義の距離関数、並列化されたブートストラップ推論、診断用のS3メソッドをサポートしており、堅牢で柔軟な一致解析を可能にしている。実際の応用例として、大腿関節軟骨におけるT2* MRI測定値の間でほぼ完璧な一致（α = 0.84）が示されたことから、ガドリニウム含有対比剤の使用を削減する可能性が示唆された。

ABSTRACT

R package krippendorffsalpha provides tools for measuring agreement using Krippendorff's Alpha coefficient, a well-known nonparametric measure of agreement (also called inter-rater reliability and various other names). This article first develops Krippendorff's Alpha in a natural way, and situates Alpha among statistical procedures. Then the usage of package krippendorffsalpha is illustrated via analyses of two datasets, the latter of which was collected during an imaging study of hip cartilage. The package permits users to apply the Alpha methodology using built-in distance functions for the nominal, ordinal, interval, or ratio levels of measurement. User-defined distance functions are also supported. The fitting function can accommodate any number of units, any number of coders, and missingness. Bootstrap inference is supported, and the bootstrap computation can be carried out in parallel.

研究の動機と目的

• 既存のRパッケージにおけるKrippendorffのアルファ係数計算の限界、たとえばユーザー定義の距離関数の欠如や効率的なブートストラップ計算の不足を解消すること。
• 評価者間一致のための主要な測定水準（名目尺度、順序尺度、インターバル尺度、比率尺度）をすべてサポートする包括的で使いやすいRパッケージを提供すること。
• 進行状況の追跡と信頼区間推定を伴う、並列化された「ありきたりな並列処理」のブートストラップ再サンプリングにより、堅牢な統計的推論を可能にすること。
• 影響度分析やS3メソッド（confint、summary、plot）といった診断ツールをサポートし、モデル評価の透明性を高めること。
• 臨床的MRI研究（大腿関節軟骨のT2*測定）を含む実世界の応用を通じて、パッケージの実用性を示すこと。

提案手法

• パッケージは、評価者間の評価の乖離に基づく非パラメトリック枠組みを用いてKrippendorffのアルファを実装し、組み込みおよびユーザー定義の距離関数を介して測定水準全体に一般化している。
• 任意の数の評価者と対象単位をサポートし、片方がNAの場合は距離を0に設定することで欠損値を処理し、水準間で一貫したアルファの式を用いている。
• ブートストラップ推論は、SOCK、PVM、MPI、NWSタイプの並列計算を用いて実装されており、ユーザーがブートストラップ反復回数と並列ノード数を制御できる。
• RのS3規約に準拠しており、summary、confint、plot、influenceなどのメソッドを提供し、モデル診断と解釈を支援している。
• アルファのパラメトリックな導出は、一要因混合効果分散分析モデルから得られ、アルファが組内相関係数として解釈できることを示し、非パラメトリックおよびコピュラベースの形式（Sklarのω）に一般化されている。
• ユーザーはカスタム距離関数（例：L1ノルム）を定義し、それらが一致推定値に与える影響をテストできる。MRIデータへのL1距離関数の適用例が示されている。

実験結果

リサーチクエスチョン

• RQ1 Rにおいて、測定水準の異なる水準でKrippendorffのアルファを効率的かつ柔軟に計算する方法は何か？
• RQ2 組み込み距離関数と並列ブートストラップを備えた専用Rパッケージは、既存の代替手法に比べてどのような利点を有するか？
• RQ3 距離関数の選択（例：二乗誤差 vs. 絶対誤差）が、実世界のデータにおける一致の解釈にどのように影響するか？
• RQ4 欠損値を伴う状況でもKrippendorffのアルファを信頼性高く推定でき、MRIにおける対比剤使用の削減といった臨床的意思決定に役立てられるか？
• RQ5 本パッケージのブートストラップ推論は、他のアプローチと比較して性能と正確性において優れているか？

主な発見

• krippendorffsalphaパッケージは、名目尺度、順序尺度、インターバル尺度、比率尺度の水準に加え、ユーザー定義の距離関数を組み込んだKrippendorffのアルファを正常に計算している。
• MRIによる大腿関節軟骨データセットでは、インターバル水準の距離関数を用いた結果、α = 0.8369（95％信頼区間：(0.808, 0.8648)）となり、原始的測定値と対比増強測定値の間でほぼ完璧な一致が示された。
• L1距離関数を適用した場合、一致度は顕著に低下し、α = 0.6125（95％信頼区間：0.5761–0.648）にまで下がり、中程度から中程度以上（moderate to substantial）の一致にとどまることを示唆しており、アルファが距離尺度の選択に極めて敏感であることが明らかになった。
• パラメトリックなブートストラップ計算は、3ノードで10,000反復を実行しても5秒で完了し、大規模な推論においても効率的なスケーラビリティを示した。
• 影響度分析とS3メソッドにより、影響力のある単位や評価者を特定でき、一致評価における妥当性のチェックが可能になった。
• これらの結果から、T2*-ベースの軟骨評価ではガドリニウム含有対比剤の使用が不要である可能性があり、患者のリスク低減という臨床的利点が得られる可能性が示唆された。