[論文レビュー] Proper likelihood ratio based ROC curves for general binary classification problems

Lidia Sacchetto, Mauro Gasparini|arXiv (Cornell University)|Sep 3, 2018

Advanced Statistical Methods and Models参考文献 21被引用数 3

ひとこと要約

本稿では、二値分類における従来の経験的ROC曲線の理論的最適な代替手段として、尤度比（LR）に基づくROC曲線を提案する。離散的、連続的、および複雑なデータを含む多様なデータタイプに適用可能なLRベースの分類の一般枠組みを導出することで、LRベースのROC曲線が本質的に凹型で非減少的であり、Neyman-Pearsonの補題に基づく理論的最適性を有することを示している。これは、多次元および非パラメトリックな設定において、標準的な経験的推定値よりも信頼性が高く、効率的である。

ABSTRACT

Everybody writes that ROC curves, a very common tool in binary classification problems, should be optimal, and in particular concave, non-decreasing and above the 45-degree line. Everybody uses ROC curves, theoretical and especially empirical, which are not so. This work is an attempt to correct this schizophrenic behavior. Optimality stems from the Neyman-Pearson lemma, which prescribes using likelihood-ratio based ROC curves. Starting from there, we give the most general definition of a likelihood-ratio based classification procedure, which encompasses finite, continuous and even more complex data types. We point out a strict relationship with a general notion of concentration of two probability measures. We give some nontrivial examples of situations with non-monotone and non-continuous likelihood ratios. Finally, we propose the ROC curve of a likelihood ratio based Gaussian kernel flexible Bayes classifier as a proper default alternative to the usual empirical ROC curve.

研究の動機と目的

• 理論的最適性を欠く不適切で、凹型でなく、非単調な経験的ROC曲線の広範な使用を是正すること。
• 有限、連続、および複雑なデータを含む任意のデータタイプに適用可能な、数学的に整合性のある尤度比ベースの分類の一般定義を確立すること。
• LRベースのROC曲線が本質的に適切であることを示す——すなわち、凹型で非減少的であり、45度線の上に位置し、Neyman-Pearsonの補題から導かれる最適性を満たすこと。
• ガウスカーネルを用いた柔軟なベイズ分類器を用いて、実用的で非パラメトリックな代替手段を提供し、経験的推定値の階段状の形状を避ける滑らかで適切なROC曲線を生成すること。
• 多次元設定における一般的な手法（QDAや線形判別分析）の限界を強調し、理論的性能においてLRベースの手法がそれらを上回ることを示すこと。

提案手法

• 二つの母集団測度が互いに絶対連続である任意のデータ空間に対して適用可能な、一般化された尤度比ベースの分類ルールを導出する。
• 決定ルールを尤度比のしきい値で閾値処理することに基づき、FPR(t) と TPR(t) のパrametricな軌跡としてROC曲線を定義する。
• 尤度比と一般化された濃度関数の概念との間の関係を確立し、分類を測度論的概念と結びつける。
• miRNAとPSAのデータを用いた前立腺がん診断の事例研究に本手法を適用し、パラメトリック（QDA）と非パラメトリック（柔軟なベイズ）アプローチを比較する。
• アルゴリズム5.1を用いて、ガウスカーネルを用いた柔軟なベイズ分類器により非パラメトリックなLRベースのROC曲線を推定し、経験的推定値の階段状のアーチファクトを回避する。
• RライブラリSing S2005を用いた標準的な経験的推定値と比較することで、滑らかさと効率性の向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 離散的、連続的、および複雑なデータを含む任意のデータタイプに対して、一般化された尤度比ベースの分類フレームワークを定義可能か？
• RQ2 なぜ従来の経験的ROC曲線はしばしば不適切（非凹型、非単調）であり、より優れた代替手段を正当化する理論的根拠は何か？
• RQ3 多次元設定において、尤度比ベースのROC曲線はQDA、線形判別分析、ロジスティック回帰といった標準的手法と比較して、性能的にどう異なるか？
• RQ4 尤度比の非パラメトリック推定は、標準的な経験的階段状推定値よりも滑らかで凹型で、より効率的なROC曲線を生成可能か？
• RQ5 二つの確率測度の文脈において、尤度比と濃度関数の関係は何か？

主な発見

• LRベースのROC曲線は、尤度比が単調でない場合であっても、本質的に凹型で非減少的であり、Neyman-Pearsonの補題から導かれる最適性を満たす。
• 提案手法は、常に45度線の上に位置し、理論的性能において一般的に用いられる経験的およびパラメトリックなROC曲線を上回る適切なROC曲線を生成する。
• 前立腺がんの事例研究において、LR推定に基づく非パラメトリックな柔軟なベイズ分類器は、滑らかで凹型のROC曲線を生成し、階段状の経験的ROC曲線よりも効率的であった。
• 柔軟なベイズ分類器のLRベースのROC曲線は、平均的にQDA曲線よりも低かったが、これは一般性と性能のトレードオフを反映していた。しかし、推定の効率性と滑らかさにおいて優れていた。
• 理論的分析により、尤度比ベースの分類は、測度が互いに絶対連続であれば、データタイプに依存せずに一般条件下で最適であることが確認された。
• 本研究は、経験的ROC曲線の一般的な使用が非最適であり、尤度比に基づく適切で滑らかで凹型のROC曲線が理論的に正当化され、実用的に達成可能であることを示した。