[論文レビュー] Inter-Rater: Software for analysis of inter-rater reliability by permutating pairs of multiple users

Daniel J. Arenas|arXiv (Cornell University)|Sep 15, 2018

Reliability and Agreement in Measurement参考文献 10被引用数 8

ひとこと要約

本論文では、複数のレーティング担当者同士のペアを並び替えることで、個々のレーティング担当者のグループ内での合意度を定量化する、Pythonベースのソフトウェアツール「Inter-Rater」を紹介する。この手法は、Fleissのkappaを計算しながらも個々のレーティング担当者の信頼性指標を保持する点で、従来の手法を改善し、システマティックレビュー や医療診断の分野におけるレーティング担当者の一貫性をより深く理解する手がかりを提供する。

ABSTRACT

Inter-Rater quantifies the reliability between multiple raters who evaluate a group of subjects. It calculates the group quantity, Fleiss kappa, and it improves on existing software by keeping information about each user and quantifying how each user agreed with the rest of the group. This is accomplished through permutations of user pairs. The software was written in Python, can be run in Linux, and the code is deposited in Zenodo and GitHub. This software can be used for evaluation of inter-rater reliability in systematic reviews, medical diagnosis algorithms, education applications, and others.

研究の動機と目的

• 複数レーティング担当者環境における個々のレーティング担当者の信頼性評価の限界を解消すること。
• グループレベルの信頼性指標を計算する際、個々のレーティング担当者の情報を保持する手法の開発。
• 各レーティング担当者が残りのグループとどの程度合意しているかを定量化することで、相互評価信頼性の解釈性を向上させること。
• 健康科学、教育、システマティックレビュー分野の研究者に透明性がありオープンソースのソリューションを提供すること。
• レーティング担当者ペアの並び替えに基づく比較を用いて、相互評価信頼性の堅牢な分析を可能にすること。

提案手法

• ソフトウェアは、複数レーティング担当者における相互評価信頼性の主な指標としてFleissのkappaを計算する。
• レーティング担当者ペアの並び替えを用いて、各個々のレーティング担当者がグループ全体との合意にどの程度寄与しているかを分離・定量化する。
• 各レーティング担当者の合意度は、他の全レーティング担当者の平均合意度との相対的な評価を、再サンプリングアプローチで行う。
• 各レーティング担当者のパフォーマンスの完全な追跡性を維持し、標準的なkappa計算で一般的に生じる集約損失を回避する。
• 実装はPythonで行われ、Linuxシステムと互換性があり、再現性とアクセス可能性を確保する。
• ソースコードはGitHubおよびZenodoにホスティングされており、オープンアクセスとバージョン管理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 個々のレーティング担当者のパフォーマンスに関する情報を保持しつつ、相互評価信頼性をどのように評価できるか。
• RQ2 レーティング担当者ペアの並び替えは、複数レーティング担当者環境における一貫性のないレーティング担当者の検出をどの程度向上させるか。
• RQ3 並び替えに基づくアプローチは、標準的なFleissのkappaに比べて、より洗練されたレーティング担当者信頼性の洞察を提供できるか。
• RQ4 解釈性と使いやすさの観点から、このソフトウェアのアプローチは既存のツールとどのように比較できるか。
• RQ5 システマティックレビュー や医療診断といった研究分野において、この手法は測定可能な利点を提供するか。

主な発見

• ソフトウェアはFleissのkappaを正しく計算するとともに、個々のレーティング担当者に対する詳細な合意度指標を保持している。
• レーティング担当者ペアの並び替えにより、グループの合意から著しく逸脱しているレーティング担当者を特定可能である。
• 標準的なツールがレーティング担当者のパフォーマンスを集約するのに対し、この手法は信頼性のより細分化された評価を提供する。
• ソフトウェアはLinux環境で正常に動作し、再現性のある研究ワークフローをサポートする。
• GitHubおよびZenodoにホスティングされたオープンソース性により、長期的なアクセス可能性とコミュニティ貢献が保証される。
• このアプローチは、システマティックレビュー、医療診断、教育的評価を含む多様な分野に応用可能である。