[论文解读] Inter-Rater: Software for analysis of inter-rater reliability by permutating pairs of multiple users

Daniel J. Arenas|arXiv (Cornell University)|Sep 15, 2018

Reliability and Agreement in Measurement参考文献 10被引用 8

一句话总结

本文介紹了 Inter-Rater，一款基於 Python 的軟體工具，透過對多名評分者進行配對排列，以量化每位評分者與整體群體的一致性，從而提升評分者間一致性的分析。該工具在現有方法的基礎上進行改進，計算 Fleiss' kappa 的同時保留每位評分者的可靠性指標，從而提供對系統性文獻回顧與醫療診斷等應用中評分者一致性更深入的洞察。

ABSTRACT

Inter-Rater quantifies the reliability between multiple raters who evaluate a group of subjects. It calculates the group quantity, Fleiss kappa, and it improves on existing software by keeping information about each user and quantifying how each user agreed with the rest of the group. This is accomplished through permutations of user pairs. The software was written in Python, can be run in Linux, and the code is deposited in Zenodo and GitHub. This software can be used for evaluation of inter-rater reliability in systematic reviews, medical diagnosis algorithms, education applications, and others.

研究动机与目标

• 解決現有工具在多評分者情境下評估單一評分者一致性的限制。
• 開發一種在計算群體層級一致性指標的同時，仍保留單一評分者資訊的方法。
• 透過量化每位評分者與其他評分者群體的一致性，提升評分者間一致性的可解釋性。
• 為健康科學、教育與系統性文獻回顧領域的研究人員提供透明且開源的解決方案。
• 透過基於排列的評分者配對比較，實現對評分者間一致性的穩健分析。

提出的方法

• 軟體以 Fleiss' kappa 為主要指標，計算多名評分者之間的一致性。
• 利用評分者配對的排列，分離並量化每位評分者對整體一致性的貢獻。
• 透過重採樣方法，以其他所有評分者的平均一致性為基準，評估每位評分者的協同意願。
• 該方法完整保留每位評分者表現的可追溯性，避免標準 kappa 計算中常見的聚合損失。
• 實作採用 Python，相容 Linux 系統，確保可重現性與可及性。
• 原始碼託管於 GitHub 與 Zenodo，支援開放存取與版本控制。

实验结果

研究问题

• RQ1 如何在保留單一評分者表現資訊的同時，評估評分者間的一致性？
• RQ2 在多評分者情境下，評分者配對排列在多大程度上能提升對不一致評分者的檢測能力？
• RQ3 基於排列的方法是否能提供比標準 Fleiss' kappa 更細緻的評分者一致性洞察？
• RQ4 與現有工具相比，該軟體在可解釋性與易用性方面表現如何？
• RQ5 在系統性文獻回顧或醫療診斷等研究領域中，此方法是否提供可量化的優勢？

主要发现

• 該軟體成功計算 Fleiss' kappa，同時保留詳細的每位評分者協同意願指標。
• 評分者配對的排列可有效識別出與群體共識顯著偏離的評分者。
• 與標準工具相比，該方法提供更細緻的一致性評估，後者會將評分者表現進行聚合。
• 該工具可在 Linux 環境中正常運作，支援可重現的研究工作流程。
• 軟體的開源性質，透過 GitHub 與 Zenodo 托管，確保長期可及性與社群貢獻。
• 該方法適用於多樣化領域，包括系統性文獻回顧、醫療診斷與教育評估。