[論文レビュー] Docs are ROCs: A simple off-the-shelf approach for estimating average human performance in diagnostic studies

Luke Oakden‐Rayner, Lyle J. Palmer|arXiv (Cornell University)|Sep 23, 2020

Artificial Intelligence in Healthcare and Education参考文献 11被引用数 5

ひとこと要約

本稿では、診断テストメタアナリシスで標準的である、要約受信者操作特性（SROC）曲線分析——医療AI診断研究における平均人的なパフォーマンスを推定するためのロバストで即戦可能な手法として提案する。複数の症例における個々のリーダーのパフォーマンスをモデル化することで、集約された指標で見られる人的感度および特異度の系統的過小評価を是正し、マルチリーダー・マルチケース研究におけるAIモデル評価のより正確なベンチマークを提供する。

ABSTRACT

Estimating average human performance has been performed inconsistently in research in diagnostic medicine. This has been particularly apparent in the field of medical artificial intelligence, where humans are often compared against AI models in multi-reader multi-case studies, and commonly reported metrics such as the pooled or average human sensitivity and specificity will systematically underestimate the performance of human experts. We present the use of summary receiver operating characteristic curve analysis, a technique commonly used in the meta-analysis of diagnostic test accuracy studies, as a sensible and methodologically robust alternative. We describe the motivation for using these methods and present results where we apply these meta-analytic techniques to a handful of prominent medical AI studies.

研究の動機と目的

• 診断AI研究における平均人的パフォーマンスの不一致かつしばしば不正確な推定を是正すること。
• マルチリーダー・マルチケース研究における集約感度および特異度指標の限界を特定すること。
• より正確な人的パフォーマンス推定のための、SROC曲線分析を用いた方法論的に整合した代替手法を提案すること。
• SROC手法の実用的応用を、代表的な医療AI研究に適用して示すこと。
• 研究者が診断AI研究におけるベンチマーク向上に役立てるシンプルで即戦可能なソリューションを提供すること。

提案手法

• 診断メタアナリシスの標準的手法である要約受信者操作特性（SROC）曲線分析を採用し、複数症例におけるリーダーパフォーマンスをモデル化する。
• リーダーパフォーマンスおよび症例の難易度のばらつきを考慮するため、ランダム効果モデルを用いる。
• 階層的モデルを適合させ、複数の研究における個々のリーダーのAUC、感度、特異度の値を要約する。
• 実世界の医療AI研究にSROC手法を適用し、平均人的パフォーマンスを推定する。
• 再現性およびアクセス可能性を確保するため、SROC分析に用いられる確立された統計ソフトウェアおよびフレームワークを活用する。
• ベンチマーク研究においてSROC推定値と従来の集約指標を比較することで、アプローチの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 従来の集約感度および特異度指標は、診断研究における平均人的パフォーマンスをどのように系統的に過小評価するか？
• RQ2 SROC曲線分析は、集約指標と比較して、平均人的診断パフォーマンスをどの程度より正確に推定するか？
• RQ3 SROC分析は、マルチリーダー・マルチケース診断研究において、シンプルで即戦可能な手法として適用可能か？
• RQ4 SROCから得られる人的パフォーマンス推定値は、代表的な医療AI研究からの推定値とどのように比較されるか？
• RQ5 SROC分析は、診断パフォーマンス評価において単純な平均化と比較して、どのような方法論的利点を有するか？

主な発見

• SROC曲線分析は、集約感度および特異度指標と比較して、一貫して高く信頼性の高い平均人的パフォーマンス推定値を提供する。
• この手法は、集約指標に見られる系統的バイアス——つまり、真の人的診断正確性を過小評価する傾向——を是正する。
• 既存の医療AI研究にSROCを適用した結果、従来の指標で報告されたものよりも、人的パフォーマンスがしばしば高いことが明らかになった。
• このアプローチはロバストで、方法論的に整合性があり、カスタム開発を要せず、標準的な統計ツールで実装可能である。
• SROCベースの推定値は、研究間でより一貫性を示し、熟練リーダーの真のパフォーマンスをよりよく反映している。
• 本研究は、SROCが診断医療分野におけるAIモデルベンチマークのための実用的で、アクセス可能で、正確な代替手段であることを示した。