[논문 리뷰] Proper likelihood ratio based ROC curves for general binary classification problems

Lidia Sacchetto, Mauro Gasparini|arXiv (Cornell University)|2018. 09. 03.

Advanced Statistical Methods and Models참고 문헌 21인용 수 3

한 줄 요약

이 논문은 이元분류에서 전통적인 경험적 ROC 곡선의 이상적인 이론적 대안으로 가능도비 기반 ROC 곡선을 제안한다. 이산, 연속, 복잡한 데이터를 포함한 다양한 데이터 유형에 적용 가능한 가능도비 기반 분류의 일반적 프레임워크를 유도함으로써, 가능도비 기반 ROC 곡선이 본질적으로 오목하고 비감소적이며, 네이만-피어슨 보조정리에 따라 최적임을 보여주며, 특히 다변량 및 비모수적 설정에서 표준 경험적 추정치에 비해 더 신뢰성 있고 효율적인 대안을 제공한다.

ABSTRACT

Everybody writes that ROC curves, a very common tool in binary classification problems, should be optimal, and in particular concave, non-decreasing and above the 45-degree line. Everybody uses ROC curves, theoretical and especially empirical, which are not so. This work is an attempt to correct this schizophrenic behavior. Optimality stems from the Neyman-Pearson lemma, which prescribes using likelihood-ratio based ROC curves. Starting from there, we give the most general definition of a likelihood-ratio based classification procedure, which encompasses finite, continuous and even more complex data types. We point out a strict relationship with a general notion of concentration of two probability measures. We give some nontrivial examples of situations with non-monotone and non-continuous likelihood ratios. Finally, we propose the ROC curve of a likelihood ratio based Gaussian kernel flexible Bayes classifier as a proper default alternative to the usual empirical ROC curve.

연구 동기 및 목표

• 이론적 최적성 부족으로 인해 널리 사용되는 부적절하고 오목하지 않으며 비단조화적인 경험적 ROC 곡선 문제를 해결하기 위해.
• 유한, 연속, 복잡한 데이터를 포함한 임의의 데이터 유형에 적용 가능한 일반적이고 수학적으로 타당한 가능도비 기반 분류의 정의를 수립하기 위해.
• 가능도비 기반 ROC 곡선이 본질적으로 적절하다는 것을 입증하기 위해—즉, 오목하고 비감소적이며 45도 선 위에 위치하며, 네이만-피어슨 보조정리로부터 유도된 최적 성질을 충족한다.
• 가능도비 기반 ROC 곡선을 실용적으로 비모수적 방법으로 제공하기 위해, 가우시안 커널을 사용한 민감도 높은 베이즈 분류기로 부드럽고 적절한 ROC 곡선을 생성함으로써, 계단형 경험적 추정치보다 뛰어난 성능을 보이는 방법을 제시하기 위해.
• 다변량 설정에서 일반적인 방법들인 QDA와 선형 판별 분석의 한계를 부각하고, 가능도비 기반 접근이 이론적 성능에서 이에 뛰어나다는 것을 보여주기 위해.

제안 방법

• 두 집단 측도가 상호 절대연속일 수 있는 임의의 데이터 공간에 적용 가능한 일반 가능도비 기반 분류 규칙을 유도한다.
• 결정 규칙이 가능도비를 임계값으로 설정할 때, (FPR(t), TPR(t))의 매개변수적 궤적으로 ROC 곡선을 정의한다.
• 가능도비와 일반적인 농도 함수의 개념 간의 연결 고리를 설정함으로써, 분류를 측도 이론적 개념과 연계한다.
• microRNA 및 PSA 데이터를 사용한 실제 전립선암 진단 사례 연구에 이 방법을 적용하여, 파라미터적(QDA)과 비모수적(유연한 베이즈) 접근 방식을 비교한다.
• 알고리즘 5.1을 사용하여 가우시안 커널을 갖는 유연한 베이즈 분류기를 통해 비모수적 가능도비 기반 ROC 곡선을 추정함으로써, 경험적 방법의 계단형 아티팩트를 피한다.
• R 라이브러리 Sing S2005 등을 통해 표준 경험적 추정치와 결과 ROC 곡선을 비교하여, 더 나은 부드러움과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 이산, 연속, 복잡한 데이터를 포함한 임의의 데이터 유형에 대해 일반 가능도비 기반 분류 프레임워크를 정의할 수 있는가?
• RQ2 기존 경험적 ROC 곡선이 자주 부적절한 이유(비오목, 비단조화)는 무엇이며, 더 나은 대안을 정당화할 수 있는 이론적 기초는 무엇인가?
• RQ3 다변량 설정에서 가능도비 기반 ROC 곡선은 QDA, 선형 판별 분석, 로지스틱 회귀 분석과 같은 표준 방법보다 성능 면에서 어떻게 비교되는가?
• RQ4 가능도비의 비모수적 추정이 기존 경험적 계단형 추정치보다 더 부드럽고 오목하며 더 효율적인 ROC 곡선을 얻을 수 있는가?
• RQ5 두 확률 측도의 맥락에서 가능도비와 농도 함수 간의 관계는 무엇인가?

주요 결과

• 가능도비 기반 ROC 곡선은 가능도비가 단조감소적이지 않더라도 본질적으로 오목하고 비감소적이며, 네이만-피어슨 보조정리로부터 도출된 최적 성질을 충족한다.
• 제안된 방법은 항상 45도 선 위에 위치하며, 이론적 성능에서 일반적으로 사용되는 경험적 및 파라미터적 ROC 곡선을 능가하는 적절한 ROC 곡선을 생성한다.
• 전립선암 사례 연구에서, 가능도비 추정 기반의 비모수적 유연한 베이즈 분류기는 계단형 경험적 ROC 곡선보다 더 부드럽고 오목한 ROC 곡선을 생성하였다.
• 유연한 베이즈 분류기의 가능도비 기반 ROC 곡선은 평균적으로 QDA 곡선보다 낮게 나타났으며, 일반성과 성능 간의 상충 관계를 반영하지만, 추정 효율성과 부드러움 면에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 가능도비 기반 분류가 데이터 유형에 관계없이 측도가 상호 절대연속일 경우 일반 조건 하에서 최적이 되는 것으로 확인되었다.
• 본 연구는 경험적 ROC 곡선의 일반적 사용이 비최적임을 입증하였으며, 가능도비 기반으로 유도된 부드럽고 오목한 적절한 ROC 곡선이 이론적으로 타당하며 실용적으로 실현 가능하다는 것을 보여주었다.