[논문 리뷰] Large-scale Optimization of Partial AUC in a Range of False Positive Rates

Yao Yao, Qihang Lin외 1명|arXiv (Cornell University)|2022. 03. 03.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 대규모 및 딥 러닝 환경에서 특정 범위의 위양성률(FPR)에 대해 부분 AUC를 최대화하기 위한 확장 가능한 확률적 최적화 방법을 제안한다. 문제를 비연속적인 축합-볼록(DC) 프로그래밍으로 재구성하고, 확률적 블록좌표강하(SBCD)를 활용한 모레우 환경(smoothing)를 적용함으로써, 수렴 복잡도가 $ ilde{O}(1/ heta^6)$인 방법을 도출하여 선형 모델과 딥 네트워크 모두에 이론적 보장을 제공하는 효율적인 학습을 가능하게 한다.

ABSTRACT

The area under the ROC curve (AUC) is one of the most widely used performance measures for classification models in machine learning. However, it summarizes the true positive rates (TPRs) over all false positive rates (FPRs) in the ROC space, which may include the FPRs with no practical relevance in some applications. The partial AUC, as a generalization of the AUC, summarizes only the TPRs over a specific range of the FPRs and is thus a more suitable performance measure in many real-world situations. Although partial AUC optimization in a range of FPRs had been studied, existing algorithms are not scalable to big data and not applicable to deep learning. To address this challenge, we cast the problem into a non-smooth difference-of-convex (DC) program for any smooth predictive functions (e.g., deep neural networks), which allowed us to develop an efficient approximated gradient descent method based on the Moreau envelope smoothing technique, inspired by recent advances in non-smooth DC optimization. To increase the efficiency of large data processing, we used an efficient stochastic block coordinate update in our algorithm. Our proposed algorithm can also be used to minimize the sum of ranked range loss, which also lacks efficient solvers. We established a complexity of $ ilde O(1/ε^6)$ for finding a nearly $ε$-critical solution. Finally, we numerically demonstrated the effectiveness of our proposed algorithms for both partial AUC maximization and sum of ranked range loss minimization.

연구 동기 및 목표

• 대규모 및 딥 러닝 환경에서 부분 AUC 최적화를 위한 확장 가능하고 이론적으로 타당한 알고리즘이 부족한 문제를 해결하기 위해.
• 실제 FPR 제약 조건이 존재하는 응용 분야에서 전체 AUC보다 더 관련성이 높은 사용자 정의 범위의 위양성률에 대해 부분 AUC를 최대화하는 방법을 개발하기 위해.
• 기존 방법이 선형 모델에 국한되거나 전체 배치 처리를 요구하는 한계를 극복하여 비선형 모델, 특히 딥 네트워크의 효율적 학습을 가능하게 하기 위해.
• 부분 AUC 최대화 외에도 표준 손실 합 대비 강건한 대안인 순서 범위 손실의 합(SoRR) 최소화에 적용 가능한 통합 프레임워크를 제공하기 위해.
• 비연속적인 DC 프로그래밍 설정에서 $ heta$-비판적 해를 찾는 데 있어 엄밀한 수렴 복잡도 상한 $ olinebreak\tilde{O}(1/\theta^6)$을 확립하기 위해.

제안 방법

• 부분 AUC 최대화 문제를 비연속적인 축합-볼록(DC) 프로그래밍 문제로 재구성함으로써, 딥 네트워크와 같은 부드러운 예측 함수에 적용 가능하게 한다.
• DC 설정 내의 비연속 성분을 모레우 환경을 사용해 근사함으로써, 기울기 기반 최적화에 적합한 부드러운 문제로 변환한다.
• 근사 기울기 강하법를 적용하며, 볼록 성분의 프록시 하위문제를 해결하기 위해 확률적 블록좌표강하(SBCD)를 통해 기울기를 추정한다.
• 각 반복에서 양성 및 음성 데이터 포인트를 무작위로 샘플링함으로써, 각 반복의 계산 비용을 낮추고 대규모 데이터에 대한 확장성을 확보한다.
• 부분 AUC 최적화의 특수한 경우로 간주할 수 있는 순서 범위 손실의 합(SoRR) 최소화를 위해 방법을 확장한다.
• 비연속적인 비볼록 설정에서 $ heta$-비판적 해를 찾는 데 있어 $ ilde{O}(1/ heta^6)$의 수렴 복잡도를 확립한다. 이는 어려운 비연속 비볼록 문제에 대해 알려진 최고의 상한과 일치한다.

실험 결과

연구 질문

• RQ1 기존의 배치 기반 또는 선형 모델에 국한된 방법의 한계를 극복하고, 대규모 데이터셋과 딥 네트워크에 대해 부분 AUC 최적화를 효율적으로 확장할 수 있는가?
• RQ2 표준 DC 솔버가 비연속성으로 인해 실패할 경우, 부분 AUC 최대화를 위한 비연속적인 DC 프로그래밍을 효과적으로 해결할 수 있는가?
• RQ3 비연속적이며 비볼록인 설정에서 부분 AUC 최적화를 위한 확률적 기반 기울기 방법의 이론적 수렴 복잡도는 무엇인가?
• RQ4 제안된 프레임워크는 순서 범위 손실의 합과 같은 다른 강건한 손실 함수로 일반화될 수 있는가?
• RQ5 모레우 환경 스무딩과 확률적 블록좌표강하의 조합이 대규모 부분 AUC 최적화에 대해 실용적이면서도 증명 가능한 수렴성을 보장하는 알고리즘을 제공하는가?

주요 결과

• 제안된 AGD-SBCD 알고리즘은 $ heta$-비판적 해를 찾는 데 있어 $ ilde{O}(1/ heta^6)$의 수렴 복잡도를 달성하였으며, 이는 비연속 비볼록 최적화에서 알려진 최고의 상한과 일치한다.
• CheXpert 데이터셋에서 $ heta = 10^{10}/N_{+}N_{-}$일 때, 테스트 부분 AUC가 0.8500 ± 0.0017을 기록하여 의료 영상 데이터에서 뛰어난 성능을 보였다.
• 이 방법은 CIFAR-10-LT 및 Tiny-ImageNet-200-LT와 같은 장우발생 데이터셋에서도 딥 네트워크의 부분 AUC 최대화를 성공적으로 학습시켜 확장성과 효능을 입증했다.
• 수치 결과는 GPU 시간에 따른 학습 손실과 부분 AUC 모두에서 알고리즘이 안정적으로 수렴함을 확인하였으며, 다양한 $ heta$ 값에서도 최소한의 성능 저하를 보였다.
• 전체 AUC가 가장 관련성이 높지 않은 성능 지표 설정에서 특히, 확장성과 이론적 보장 측면에서 기준 방법보다 알고리즘이 뛰어난 성능을 보였다.
• 이 프레임워크는 순서 범위 손실의 합 최소화로 일반화 가능하며, 표준 손실 합 학습 목표의 강건한 대안을 제공한다.