[論文レビュー] Who wants accurate models? Arguing for a different metrics to take classification models seriously

Federico Cabitza, Andrea Campagner|arXiv (Cornell University)|Oct 21, 2019

Artificial Intelligence in Healthcare and Education参考文献 42被引用数 8

ひとこと要約

本稿では、臨床的優先順位、誤差の影響、症例の複雑さを統合する新しいパフォーマンス指標H-accuracy（Ha）を紹介する。これは、従来の正解率やAUCに代わる、より情報を得やすい代替指標を提供する。バランス正解率を一般化し、ネット利益と関連づけ、臨床意思決定の現実世界の文脈における記述的パワーをユーザースタディで検証した。

ABSTRACT

With the increasing availability of AI-based decision support, there is an increasing need for their certification by both AI manufacturers and notified bodies, as well as the pragmatic (real-world) validation of these systems. Therefore, there is the need for meaningful and informative ways to assess the performance of AI systems in clinical practice. Common metrics (like accuracy scores and areas under the ROC curve) have known problems and they do not take into account important information about the preferences of clinicians and the needs of their specialist practice, like the likelihood and impact of errors and the complexity of cases. In this paper, we present a new accuracy measure, the H-accuracy (Ha), which we claim is more informative in the medical domain (and others of similar needs) for the elements it encompasses. We also provide proof that the H-accuracy is a generalization of the balanced accuracy and establish a relation between the H-accuracy and the Net Benefit. Finally, we illustrate an experimentation in two user studies to show the descriptive power of the Ha score and how complementary and differently informative measures can be derived from its formulation (a Python script to compute Ha is also made available).

研究の動機と目的

• 標準的な指標（正解率やAUC）が臨床的優先順位や現実世界での使いやすさを反映しないという限界を是正すること。
• 臨床意思決定支援における分類モデルの実用的価値を捉える、単一で包括的なパフォーマンス指標を開発すること。
• 臨床医の好み（誤差の影響、症例の難易度、優先順位付けなど）を形式的かつ数学的に裏付けられた指標に統合すること。
• バランス正解率を一般化し、ネット利益と意味的に関連づけることで、より公平なモデル比較を可能にする指標を提供すること。
• 臨床医および放射線科医を対象としたユーザースタディを通じて、指標の記述的パワーを検証すること。

提案手法

• H-accuracy（Ha）をバランス正解率の一般化として提案し、信頼性（τ）、実用性（d）、優先順位（p）という3つの主要な要素を統合する。
• 混同行列に基づいて導出された形式的式を用いて、クラスの出現頻度、誤差コスト、症例固有の難易度を考慮した重み付き調和平均としてHaを定義する。
• τ = 0.5、p = 0.5、dが一定のとき、Haがバランス正解率に簡略化されることを数学的に示す。
• モデルランク付けと臨床的有用性の評価において一貫性を示すことで、Haがネット利益と整合することを示す。
• 病院スタッフを対象としたスタディと、MRNetデータセットのラベル付けを放射線科医が行ったスタディの2つを実施し、Haの解釈可能性と臨床的妥当性を評価する。
• Haを計算するためのPython実装を公開し、再現可能性とモデル評価パイプラインへの統合を支援する。

実験結果

リサーチクエスチョン

• RQ1 単一のパフォーマンス指標は、正解率やAUCといった標準指標よりも、予測モデルの現実世界における臨床的有用性をどのようによりよく反映できるか？
• RQ2 H-accuracyは、誤差の影響、症例の複雑さ、優先順位付けといった臨床医の好みをどのように統合するか？
• RQ3 H-accuracyはバランス正解率をどのように一般化し、ネット利益といった確立された臨床指標と関連づけるか？
• RQ4 臨床医を対象としたユーザースタディにおいて、H-accuracyは従来の指標よりも、より情報量が多く記述的なインサイトをどのように提供するか？
• RQ5 H-accuracyは、医療意思決定支援システムにおける機械学習モデル同士の公平で意味のある比較を、どの程度支援できるか？

主な発見

• H-accuracyはバランス正解率を一般化しており、τ = 0.5、p = 0.5、dが一定のとき、数学的にそれと同等である。これにより後方互換性が保証される。
• この指標は、誤差の影響や症例の難易度といった臨床的優先順位を効果的に統合しており、不均衡なまたは複雑な臨床環境において、従来の正解率よりも情報量が多い。
• 臨床医および放射線科医を対象としたユーザースタディでは、H-accuracyが従来の指標よりもより記述的かつ臨床的に関連性のあるインサイトを提供することが示された。
• H-accuracyスコアから、自信あり、優先順位付き、実用的正解率といった補足的指標を導出可能であり、モデル行動の微細な理解を可能にする。
• 提案された指標はネット利益と強く整合しており、臨床意思決定やヘルステクノロジー評価における関連性が示唆される。
• H-accuracyを計算するための公開可能なPythonスクリプトが提供されており、再現可能性とモデル評価ワークフローへの統合を支援する。