[논문 리뷰] Neyman-Pearson classification, convexity and stochastic constraints

Philippe Rigollet, Xin Tong|arXiv (Cornell University)|2011. 02. 28.

Fuzzy Systems and Optimization참고 문헌 9인용 수 29

한 줄 요약

이 논문은 이분류에서 유의수준 오류를 사전에 지정된 임계값 이하로 제어하면서 동시에 제2종 오류를 최소화하는 볼록 최적화 프레임워크를 제안한다. 기저 분류기들을 볼록 조합으로 조합하고, 경험적 제약 조건을 가진 확률적 제약 조건을 갖는 최적화 문제를 해결함으로써, 비대칭 오류 비용 상황에서 최적의 트레이드오프를 달성한다. 특히 이상 탐지에 특히 관련성이 있다.

ABSTRACT

Motivated by problems of anomaly detection, this paper implements the Neyman-Pearson paradigm to deal with asymmetric errors in binary classification with a convex loss. Given a finite collection of classifiers, we combine them and obtain a new classifier that satisfies simultaneously the two following properties with high probability: (i) its probability of type I error is below a pre-specified level and (ii), it has probability of type II error close to the minimum possible. The proposed classifier is obtained by solving an optimization problem with an empirical objective and an empirical constraint. New techniques to handle such problems are developed and have consequences on chance constrained programming.

연구 동기 및 목표

• 이상 탐지와 같은 제1종 오류(거짓 음성)가 더 심각한 상황에서 비대칭 오류 비용 문제를 해결한다.
• 학습된 분류기의 제1종 오류가 높은 확률로 사전에 지정된 수준 이하로 제한됨을 보장하는 학습 절차를 개발한다.
• 제1종 오류 제약 조건을 유지하면서 제2종 오류(거짓 양성)를 최소화함으로써 네이만-피어슨 프레임워크 하에서 최적 성능을 달성한다.
• 실제로 거의 확실히 제약 조건을 이행하는 데 어려움이 있음을 고려하여 경험적 제약 조건과 고확률 보장을 사용한다.
• 이분류 맥락에서 볼록 대체 손실 함수를 사용한 확률적 제약 조건 최적화의 이론적 기초를 제공한다.

제안 방법

• 비볼록 지표 손실 대신 볼록 대체 손실 함수 φ를 사용하여 분류 문제를 수식화함으로써 효율적인 최적화를 가능하게 한다.
• 기저 분류기 h_j들의 볼록 조합으로 분류기를 구성하며, H^conv = {h_λ = ∑λ_j h_j : λ ∈ Λ}로 정의한다. 여기서 Λ는 확률 단체이다.
• φ-위험 R_φ(h) = E[φ(−Y h(X))]를 정의하고, 이에 대한 경험적 위험을 제약 조건이 있는 상태에서 최소화한다.
• 제약 조건이 경험적 제1종 오류가 임계값 α 이하로 유지되도록 보장하는 확률적 제약 조건 최적화 문제를 해결한다.
• 집중 부등식과 尾부 경계(예: 이항 분포 尾부 근사)를 사용하여 제약 조건 이행에 대한 고확률 보장을 유도한다.
• 순서 통계와 베타 적분을 활용하여 P_q(N ≥ nq)의 하한을 증명함으로써 제약 조건 이행 가능성의 이론적 분석을 뒷받침한다.

실험 결과

연구 질문

• RQ1 고정된 수준 이하로 제1종 오류가 제한되는 볼록 조합의 기저 분류기 조합을 구성할 수 있는가?
• RQ2 이분류 설정에서 제1종 오류에 대한 확률적 제약 조건 하에 초과 제2종 오류를 어떻게 최소화할 수 있는가?
• RQ3 네이만-피어슨 프레임워크 하에서 확률적 제약 조건 하의 경험적 위험 최소화에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 볼록 대체 손실의 성질은 비대칭 오류 비용 하에서 확률적 제약 조건 최적화와 어떻게 상호작용하는가?
• RQ5 고정된 제1종 오류 제약 조건 하에서 도달 가능한 최소 제2종 오류 비율은 무엇이며, 이를 볼록 최적화를 통해 어떻게 접근할 수 있는가?

주요 결과

• 경험적 제약 조건을 갖는 볼록 확률 최적화 문제를 해결함으로써 얻어진 제안된 분류기는 높은 확률로 제1종 오류가 사전에 지정된 수준 α 이하임을 보장한다.
• 기저 분류기들의 온건한 정규성 조건 하에서 유한 표본 초과 제2종 오류 경계가 O(√(log M / n))의 속도로 감소함을 입증하였다.
• 모든 q > 1/n에 대해 P_q(N ≥ nq)는 1/4 이상으로 하한이 존재하며, 이는 고차원 설정에서 제약 조건의 이행 가능성에 기여한다.
• 이론적 분석 결과, 표본 크기 n이 증가할수록 제약 조건 이행 확률이 증가하고, M = o(e^n) 조건 하에서는 기저 분류기의 선택에 대해 강건함을 보였다.
• 이 프레임워크는 기계학습에서 확률적 제약 조건 최적화에 대한 일반적인 처리 방법을 제공하며, 이상 탐지 및 불균형 분류에 적용 가능하다.
• 볼록 대체 손실의 사용은 효율적인 계산을 가능하게 하면서도 네이만-피어슨 프레임워크 하에서 통계적 일致성을 유지한다.