[논문 리뷰] Partial AUC Maximization via Nonlinear Scoring Functions

Naonori Ueda, Akinori Fujino|arXiv (Cornell University)|2018. 06. 13.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 기존 선형 함수 대신 비선형 점수 함수—특히 생성 모델(GMM)과 딥 네ural 네트워크(DNN)를 사용하여 이진 분류에서 부분 AUC(pAUC)를 최대화하는 새로운 방법을 제안한다. 하이퍼 수프라임-캄 데이터를 이용한 진짜 및 위조 일시적 물체 분류에 대한 실험 결과, 비선형 점수 함수가 선형 기반 모델보다 유의미하게 뛰어난 성능을 보였으며, 특히 낮은 FPR 임계값에서 GMM-pAUC가 DNN-pAUC 및 SVM-pAUC보다 높은 pAUC와 TPR를 달성했다.

ABSTRACT

We propose a method for maximizing a partial area under a receiver operating characteristic (ROC) curve (pAUC) for binary classification tasks. In binary classification tasks, accuracy is the most commonly used as a measure of classifier performance. In some applications such as anomaly detection and diagnostic testing, accuracy is not an appropriate measure since prior probabilties are often greatly biased. Although in such cases the pAUC has been utilized as a performance measure, few methods have been proposed for directly maximizing the pAUC. This optimization is achieved by using a scoring function. The conventional approach utilizes a linear function as the scoring function. In contrast we newly introduce nonlinear scoring functions for this purpose. Specifically, we present two types of nonlinear scoring functions based on generative models and deep neural networks. We show experimentally that nonlinear scoring fucntions improve the conventional methods through the application of a binary classification of real and bogus objects obtained with the Hyper Suprime-Cam on the Subaru telescope.

연구 동기 및 목표

• 불균형 이진 분류 과제에서 정확도의 한계를 해결하며, 특히 클래스 사전 확률이 극도로 편향된 이상 탐지 및 진단 테스트와 같은 분야에서의 적용을 목표로 한다.
• 표준 AUC의 한계를 극복하기 위해, 임상적 또는 실용적으로 관련성이 있는 특정 범위의 위양성률(FPR)에 초점을 맞춘 부분 AUC(pAUC)를 통해 FPR의 특정 범위에 대해 최적화한다.
• 선형 함수에 의존하는 것 대신, 복잡한 데이터 분포를 포괄할 수 있는 비선형 점수 함수를 학습하여 pAUC를 직접 최적화하는 방법을 개발한다.
• 실세계 응용 분야에서 비선형 점수 함수—특히 생성 모델과 딥 네URAL 네트워크—가 선형 모델보다 pAUC 최적화에서 뛰어난 성능을 보임을 입증한다.
• 하이퍼 수프라임-캄 설문에서 확보한 광학 일시적 물체의 실세계 데이터셋을 대상으로 제안된 방법을 검증하여, 낮은 FPR 값에서 향상된 성능을 보였다.

제안 방법

• 입력 샘플을 실수 값 점수로 매핑하여 순서를 정하기 위한 점수 함수 $ f: X \to \mathbb{R} $를 사용한 pAUC 최적화 프레임워크를 제안한다.
• 두 가지 유형의 비선형 점수 함수를 도입한다: 가우시안 믹스처 모델(GMM) 기반의 생성 모델과 딥 네URAL 네트워크(DNN) 기반의 판별 모델.
• FPR이 $[\alpha, \beta]$ 범위에 제약을 두고, 양성 및 음성 샘플 쌍의 학습 데이터에 대해 pAUC를 미분 가능한 목적 함수로 공식화한다.
• GMM 및 DNN 점수 함수의 파라미터에 대해 확률적 경사 하강법(SGD)을 사용하여 pAUC 목적 함수를 최적화함으로써 엔드 투 엔드 학습을 가능하게 한다.
• pAUC 추정량을 FPR 범위 $[\alpha, \beta]$ 내에서 양성 및 음성 샘플 간의 쌍별 비교에 대한 가중합으로 정의하며, $\beta - \alpha$로 정규화한다.
• 다양한 임계값에서 순서가 매겨진 점수 기반의 임계값 전략을 사용하여 TPR 및 FPR을 계산하고, 이로써 특정 FPR 간격에서 pAUC를 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비선형 점수 함수(GMM 및 DNN)가 불균형 이진 분류에서 부분 AUC(pAUC) 최대화에 있어 선형 점수 함수를 능가할 수 있는가?
• RQ2 FPR 범위의 상한선인 $\beta$의 선택이 pAUC 최적화 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 낮은 FPR 범위에서 생성 모델 기반 점수 함수(GMM)가 판별적 딥 러닝 모델(DNN)보다 더 높은 pAUC 성능을 달성할 수 있는가?
• RQ4 비선형 점수 함수를 통한 pAUC 최적화가 실세계 이상 탐지 과제에서 표준 AUC 최적화 또는 교차 엔트로피 학습보다 더 효과적인가?
• RQ5 FPR 하한 영역에서 학습 데이터 부족이 $\beta$가 너무 작게 설정되었을 경우 과적합 및 성능 저하에 어떤 영향을 미치는가?

주요 결과

• GMM-pAUC 모델은 $\beta = 0.05$ 및 $\beta = 0.1$로 학습했을 때, FPR=0.05에서 평균 pAUC가 88.4%, FPR=0.1에서 94.0%를 기록하여, GMM-AUC 모델(89.0% at FPR=0.05, 95.1% at FPR=0.1)보다 높은 성능을 보였으며, 이는 pAUC에 특화된 최적화가 목표 FPR 범위에서 성능 향상에 기여함을 시사한다.
• DNN-pAUC 모델은 $\beta = 0.05$ 및 $\beta = 0.1$일 때, FPR=0.05에서 pAUC가 88.4%로 DNN-AUC 모델(80.3%)을 초월했고, FPR=0.1에서 94.0%로 92.2%를 기록하여 직접 pAUC 최적화의 유용성을 확인했다.
• GMM-pAUC 분류기는 $\beta=0.05$일 때 FPR=0.05에서 TPR 88.4%를 기록하여, 동일한 FPR에서 DNN-pAUC(79.3%) 및 SVM-pAUC(68.2%)를 뛰어넘는 성능을 보였다.
• FPR 범위를 너무 좁게 설정한 $\beta = 0.01$일 경우, GMM-pAUC 및 DNN-pAUC 모두 성능 저하가 발생했으며, 이는 낮은 수의 음성 샘플에 대한 과적합 위험을 보여준다.
• GMM-pAUC 모델은 $\beta=0.1$일 때 FPR=0.1에서 TPR 91.8%를 기록하여, DNN-pAUC(88.9%) 및 SVM-pAUC(85.5%)를 모두 앞서는 성능을 보였으며, 이는 데이터 분포에 더 잘 맞는다는 것을 시사한다.
• GMM 기반 점수 함수가 DNN 기반 점수 함수보다 pAUC 및 TPR 성능에서 뛰어나, 광학 일시적 물체 데이터셋에서의 기저 데이터 분포를 더 잘 모델링했기 때문일 것이다.