[논문 리뷰] Neyman-Pearson (NP) classification algorithms and NP receiver operating characteristic (NP-ROC) curves

Xin Tong, Yang Feng외 1명|arXiv (Cornell University)|2016. 08. 10.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트와 같은 인기 있는 방법들에서 유형 I 오류를 제어할 수 있는 네이만-피어슨(Neyman-Pearson, NP) 분류의 첫 번째 일반적인 우산 알고리즘을 소개한다. 또한 유형 I 오류가 보장되는 인구집단에서의 제약 조건 하에 분류기들을 비교하기 위한 새로운 평가 도구인 NP-ROC 곡선을 제안하며, 이론적 표본 크기 요구 조건과 R 패키지(nproc) 구현을 포함한다.

ABSTRACT

In many binary classification applications such as disease diagnosis and spam detection, practitioners often face great needs to control type I errors (e.g., chances of missing a malignant tumor) under a desired threshold. To address such needs, a natural framework is the Neyman-Pearson (NP) classification paradigm, which installs some upper bound $\alpha$ on population type I errors before minimizing population type II errors. However, common practices that directly control empirical type I errors under $\alpha$ do not satisfy the type I error control objective, as the resulting classifiers are likely to have population type I errors much larger than $\alpha$. As a result, the NP paradigm has not been probably implemented for many classification scenarios in practice. In this work, we develop the first and general umbrella algorithm that implements the NP paradigm for popular classification methods, including logistic regression, support vector machines, and random forests. For this algorithm, we also suggest the minimum sample size required for controlling the population type I error with high probability. Powered by this umbrella algorithm, we propose a novel evaluation metric for the NP classification methods: the NP receiver operating characteristic (NP-ROC) curve, a variant of the popular receiver operating characteristic (ROC) curve. Despite its conceptual simplicity and wide applicability, the ROC curve lacks information on how to choose a classifier or compare different classifiers whose population type I errors are under a desired threshold with high probability. In contrast, the NP-ROC curve will serve as a new effective tool to evaluate, compare and select binary classifiers aiming for population type I error control. We demonstrate the use and properties of the NP umbrella algorithm and NP-ROC, available in R package nproc, through simulation and real data case studies.

연구 동기 및 목표

• 실제로는 인구집단의 유형 I 오류를 제어하지 못함에도 불구하고 경험적 경계가 존재하는 네이만-피어슨(Neyman-Pearson, NP) 분류 파라다임의 실용적 구현 부족 문제를 해결하기 위해.
• 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트와 같은 널리 사용되는 방법들에 대해 NP 분류를 가능하게 하는 일반적인 우산 알고리즘을 개발하기 위해.
• 높은 확률로 인구집단의 유형 I 오류를 제어하기 위해 필요한 최소 표본 크기를 확보하기 위해.
• 유형 I 오류 제약 조건이 보장되는 조건에서 NP 분류기들을 비교하고 선택할 수 있도록 하는 새로운 평가 지표인 NP-ROC 곡선을 제안하기 위해.
• 실세계 적용을 위한 실용적이고 구현 가능한 프레임워크를 제공하고, R 패키지(nproc)를 통해 구현하기 위해.

제안 방법

• 표준 분류기의 모든 유형을 인구집단의 유형 I 오류 제약 조건을 충족시키는 방식으로 NP 분류기로 변환하는 우산 알고리즘을 설계하기 위해.
• 경험적 위험 최소화에 제약 조건을 적용하여 유형 I 오류의 경험적 값이 인구집단의 유형 I 오류가 사용자가 지정한 임계값 α 이하로 유지되도록 보장하기 위해.
• 집합의 복잡성과 농도 불등식을 기반으로 하여 높은 확률로 유형 I 오류 제어를 달성하기 위해 필요한 이론적 최소 표본 크기를 유도하기 위해.
• 표준 ROC 곡선의 변형으로서, 각 점이 인구집단의 유형 I 오류 ≤ α 를 만족하는 분류기와 대응하는 NP-ROC 곡선을 도입하기 위해.
• 우산 알고리즘과 NP-ROC 평가를 R 패키지 nproc에 구현하여 실제 데이터 응용에서의 종단 간 사용을 위한 완전한 흐름을 제공하기 위해.
• 시뮬레이션과 실제 사례 연구를 통해 방법의 강건성과 실용적 유용성을 검증하여 다양한 분류 과제에서의 적용 가능성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트와 같은 표준 분류 방법들에서 인구집단의 유형 I 오류 제어를 보장할 수 있는 일반적인 우산 알고리즘을 개발할 수 있는가?
• RQ2 NP 프레임워크 하에서 높은 확률로 인구집단의 유형 I 오류를 제어하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ3 유형 I 오류가 제약 조건이 걸린 상황에서 NP-ROC 곡선이 NP 분류기들을 효과적으로 평가하고 비교하는 데 어떻게 기여하는가?
• RQ4 우산 알고리즘이 표준 경험적 오류 제어 방법보다 인구집단의 유형 I 오류를 목표 임계값 이하로 유지하는 데 얼마나 더 뛰어나게 작용하는가?
• RQ5 유형 I 오류 제약 조건 하에서 표준 ROC 곡선에 비해 NP-ROC 곡선이 분류기 선택을 안내하는 데 어떻게 개선되는가?

주요 결과

• 제안된 우산 알고리즘은 경험적 유형 I 오류가 제약 조건에 따라 제어되더라도, 높은 확률로 인구집단의 유형 I 오류가 목표 임계값 α 이하로 유지됨을 입증하였다.
• 신뢰 수준과 분류기의 복잡성에 따라 달라지는 최소 표본 크기가 이론적으로 유도되었으며, 이는 신뢰성 있는 유형 I 오류 제어에 필수적임을 보여주었다.
• NP-ROC 곡선은 인구집단의 유형 I 오류 제약 조건 하에서 유형 I 오류와 유형 II 오류 사이의 트레이드오프를 효과적으로 시각화하여, 정보 기반의 분류기 선택을 가능하게 하였다.
• 시뮬레이션과 실제 데이터 연구를 통해 우산 알고리즘이 유형 I 오류 제어를 유지하면서도 유형 II 오류를 최소화함으로써, 표준 경험적 제어 방법보다 뛰어난 성능을 보였다.
• R 패키지 nproc는 NP 우산 알고리즘과 NP-ROC 평가의 실용적이고 접근 가능한 구현을 제공하여 실세계 응용에서의 도입을 촉진하였다.
• NP-ROC 곡선은 표준 ROC 곡선이 보장된 유형 I 오류 제어를 고려하지 않아 NP 분류에 대해 오해의 소지가 있을 수 있음을 드러내었으며, NP-ROC 곡선은 이러한 문제를 효과적으로 해결함을 보여주었다.