[論文レビュー] Receiver Operating Characteristic (ROC) Curves

Peter Vogel, Vogel, Peter|arXiv (Cornell University)|Sep 13, 2018

Reliability and Agreement in Measurement参考文献 38被引用数 39

ひとこと要約

本稿では、受信者操作特性（ROC）曲線をモデリングするための柔軟な2パラメータのベータ族を提案し、ROC曲線と累積分布関数（CDF）の間に直接的な同等性を確立する。ベータ族は、特に凹性の制約が課される状況において、古典的なバイノーマルモデルを上回る性能を示し、推定および仮説検定のための漸近的およびモンテカルロ的手法をR言語で提供する。

ABSTRACT

Receiver operating characteristic (ROC) curves are used ubiquitously to evaluate covariates, markers, or features as potential predictors in binary problems. We distinguish raw ROC diagnostics and ROC curves, elucidate the special role of concavity in interpreting and modelling ROC curves, and establish an equivalence between ROC curves and cumulative distribution functions (CDFs). These results support a subtle shift of paradigms in the statistical modelling of ROC curves, which we view as curve fitting. We introduce the flexible two-parameter beta family for fitting CDFs to empirical ROC curves, derive the large sample distribution of the minimum distance estimator and provide software in R for estimation and testing, including both asymptotic and Monte Carlo based inference. In a range of empirical examples the beta family and its three- and four-parameter ramifications that allow for straight edges fit better than the classical binormal model, particularly under the vital constraint of the fitted curve being concave.

研究の動機と目的

• 古典的なバイノーマルモデルが、特に凹性が求められる状況において、実測ROC曲線のフィッティングに限界を示す問題に対処すること。
• ROC曲線と累積分布関数（CDF）の間の正式な同等性を確立し、曲線フィッティングアプローチへのパラダイムシフトを可能にすること。
• 凹性を保証し、実測データにより正確にフィットする2パラメータの柔軟なベータ族を用いたCDFモデリングを構築すること。
• ベータ族にフィットする最小距離推定量の漸近的分布を導出し、頑健な推論手法を提供すること。
• ROC曲線に関する推定、仮説検定、および漸近的およびモンテカルロベースの推論のための実用的ソフトウェアをRで提供すること。

提案手法

• ROC曲線とCDFの間の数学的同等性を活用し、既知の分布族を用いたモデリングが可能になる。
• 2パラメータのベータ分布族を、実測ROC曲線にフィットさせるための柔軟で凹型のCDFとして導入する。
• 観測された曲線とフィットした曲線の間の距離を最小化することで、最小距離推定法を用いてベータ族を実測ROCデータに適合させる。
• ミラー（1984）および謝（Hsieh）とタービン（Turnbull）（1996）の理論的結果を用いて、最小距離推定量の漸近的分布を導出する。
• 推定および推論のためのRソフトウェアを提供し、漸近的近似とモンテカルロシミュレーションの両方を含む。
• 2パラメータのベータ族を3および4パラメータの変種に拡張し、直線的領域の表現を可能にすることで、フィッティングの柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベータ族のCDFは、特に凹性制約下において、古典的なバイノーマルモデルよりも実測ROC曲線に優れたフィットを達成できるか？
• RQ2 実測ROCデータにベータ族をフィットする際、最小距離推定量の漸近的分布はどのようなものか？
• RQ3 ROC曲線とCDFの同等性を活用することで、二値分類における統計的モデリングと推論がどのように改善できるか？
• RQ4 ベータ族の最小距離推定量の有限標本特性は何か？ また、モンテカルロ法を用いてそれらをどのように評価できるか？
• RQ5 追加パラメータ（3および4パラメータの変種）を備えた柔軟なベータ族は、標準的なバイノーマルモデルよりも、実測ROC曲線の形状をよりよく捉えることができるか？

主な発見

• 2パラメータのベータ族は、特に凹性が求められる状況において、古典的なバイノーマルモデルよりも実測ROC曲線に優れたフィットを示す。
• ベータ族は、形状パラメータが α ≤ 1 かつ β ≥ 2 − α を満たす場合に限り、フィットしたROC曲線の凹性を保証する。
• ベータ族にフィットする最小距離推定量の漸近的分布は、明確な漸近的分散構造を持つ正規分布に漸近的に収束する。
• モンテカルロシミュレーションにより、推論手順の信頼性が確認され、特に漸近的近似が不十分となる小標本から中標本の領域で顕著である。
• ベータ族の3および4パラメータの拡張形は、直線的領域の表現を可能にし、特に実測ROC曲線に線形セグメントが現れる場合にフィット性が向上する。
• 医療および気象分野の実例から、ベータ族は、フィット品質および理論的制約への適合性の両面で、バイノーマルモデルを一貫して上回ることが示された。