[论文解读] krippendorffsalpha: An R Package for Measuring Agreement Using Krippendorff's Alpha Coefficient

John P. Hughes|arXiv (Cornell University)|Mar 22, 2021

Reliability and Agreement in Measurement被引用 6

一句话总结

本文介绍了 R 包 krippendorffsalpha，该包实现了用于测量名义、有序、等距和比例数据水平之间评分者一致性的 Krippendorff's alpha 系数。该包支持用户自定义距离函数、并行化自助抽样推断以及用于诊断的 S3 方法，实现了稳健且灵活的一致性分析——通过展示髋关节软骨中原始 T2* MRI 测量值与对比增强后测量值之间近乎完美的一致性（α = 0.84），表明可能减少钆基对比剂的使用。

ABSTRACT

R package krippendorffsalpha provides tools for measuring agreement using Krippendorff's Alpha coefficient, a well-known nonparametric measure of agreement (also called inter-rater reliability and various other names). This article first develops Krippendorff's Alpha in a natural way, and situates Alpha among statistical procedures. Then the usage of package krippendorffsalpha is illustrated via analyses of two datasets, the latter of which was collected during an imaging study of hip cartilage. The package permits users to apply the Alpha methodology using built-in distance functions for the nominal, ordinal, interval, or ratio levels of measurement. User-defined distance functions are also supported. The fitting function can accommodate any number of units, any number of coders, and missingness. Bootstrap inference is supported, and the bootstrap computation can be carried out in parallel.

研究动机与目标

• 为解决现有 R 包在计算 Krippendorff's alpha 时的局限性，如缺乏用户自定义距离函数和高效的自助抽样计算。
• 提供一个全面且用户友好的 R 包，支持所有主要测量水平（名义、有序、等距、比例）的评分者一致性分析。
• 通过并行化、可轻松并行化的自助抽样重采样实现稳健的统计推断，支持进度跟踪和置信区间估计。
• 支持诊断工具，如影响分析和 S3 方法（confint、summary、plot），以实现透明的模型评估。
• 通过真实世界应用展示该包的实用性，包括一项关于髋关节软骨 T2* 测量的临床 MRI 研究。

提出的方法

• 该包基于评分者评分差异的非参数框架实现 Krippendorff's alpha，通过内置和用户自定义的距离函数在不同测量水平间进行推广。
• 支持任意数量的评分者和评估单位，当任一值为 NA 时，将距离设为零以处理缺失数据，并在所有测量水平上使用一致的 alpha 公式。
• 自助抽样推断通过并行计算实现，支持 SOCK、PVM、MPI 或 NWS 类型，用户可控制自助抽样迭代次数和并行节点数。
• 该包符合 R 的 S3 约定，提供 summary、confint、plot 和 influence 等方法，以支持模型诊断和解释。
• 从单因素随机效应方差分析模型出发，推导出 alpha 的参数化起源，表明 alpha 即组内相关系数，并推广至非参数和基于 copula 的形式（Sklar's ω）。
• 该包允许用户定义自定义距离函数（如 L1 范数），并测试其对一致性估计的影响，如在 MRI 数据中使用 L1 距离所示。

实验结果

研究问题

• RQ1 如何在 R 中高效且灵活地计算不同测量水平下的 Krippendorff's alpha？
• RQ2 与现有替代方案相比，使用具有内置距离函数和并行自助抽样的专用 R 包有何优势？
• RQ3 距离函数的选择（如平方差与绝对差）如何影响现实世界数据中一致性的解释？
• RQ4 Krippendorff's alpha 是否可在存在缺失数据的情况下可靠估计，并用于指导临床决策，如减少 MRI 中对比剂的使用？
• RQ5 该包的自助抽样推断在性能和准确性上与替代方法相比如何？

主要发现

• krippendorffsalpha 包成功实现了对名义、有序、等距和比例水平的 Krippendorff's alpha 计算，支持内置和用户自定义的距离函数。
• 在髋关节软骨 MRI 数据集中，等距水平距离函数得出 α = 0.8369，95% 自助抽样置信区间为 (0.808, 0.8648)，表明原始与对比增强 T2* 测量值之间几乎完美一致。
• 当应用 L1 距离函数时，一致性显著下降至 α = 0.6125（95% 置信区间：0.5761–0.648），表明仅达到中等至高度一致，凸显 alpha 对距离度量选择的敏感性。
• 该包的并行化自助抽样计算在三台节点上完成 10,000 次迭代仅耗时 5 秒，展示了其在大规模推断中的高效可扩展性。
• 影响分析和 S3 方法有助于识别具有影响力的单位和评分者，支持一致性评估中的稳健性检验。
• 结果表明，在基于 T2* 的软骨评估中，钆基对比剂可能并非必需，具有潜在临床益处，可降低患者风险。