[논문 리뷰] Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence

Qi Qi, Youzhi Luo외 3명|arXiv (Cornell University)|2021. 04. 18.

Imbalanced Data Classification Techniques인용 수 23

한 줄 요약

이 논문은 AUPRC(정밀도-재현율 곡선 아래 면적)를 최대화하기 위한 새로운 스토하스틱 최적화 프레임워크인 SOAP(Stochastic Optimization of AUPRC)를 제안한다. 이 방법은 수학적 수렴 보장을 갖추며, 평균 정밀도(AP)를 수준에 따라 달라지는 내부 함수를 가진 비볼록 복합 함수의 합으로 재구성함으로써, 적응형(Adam 스타일) 및 비적응형(SGD 스타일) 알고리즘 모두를 이론적으로 수렴 보장할 수 있도록 한다. 이는 불균형한 이미지 및 그래프 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Areas under ROC (AUROC) and precision-recall curves (AUPRC) are common metrics for evaluating classification performance for imbalanced problems. Compared with AUROC, AUPRC is a more appropriate metric for highly imbalanced datasets. While stochastic optimization of AUROC has been studied extensively, principled stochastic optimization of AUPRC has been rarely explored. In this work, we propose a principled technical method to optimize AUPRC for deep learning. Our approach is based on maximizing the averaged precision (AP), which is an unbiased point estimator of AUPRC. We cast the objective into a sum of {\\it dependent compositional functions} with inner functions dependent on random variables of the outer level. We propose efficient adaptive and non-adaptive stochastic algorithms named SOAP with {\\it provable convergence guarantee under mild conditions} by leveraging recent advances in stochastic compositional optimization. Extensive experimental results on image and graph datasets demonstrate that our proposed method outperforms prior methods on imbalanced problems in terms of AUPRC. To the best of our knowledge, our work represents the first attempt to optimize AUPRC with provable convergence. The SOAP has been implemented in the libAUC library at~\\url{https://libauc.org/}.

연구 동기 및 목표

• 딥러닝에서 AUPRC를 위한 체계적인 스토하스틱 최적화 방법의 부족, 특히 극도로 불균형한 데이터셋에 대해 해결하고자 한다.
• AUPRC의 비편향 추정량인 평균 정밀도(AP)를 직접 최적화할 수 있는 방법을 개발하며, 온건한 조건 하에 수학적 수렴 보장을 확보하고자 한다.
• AP 최적화에서 비볼록, 비연속, 해석이 어려운 그래디언트 문제를 해결하기 위해, 이를 이중 수준의 스토하스틱 복합 최적화 문제로 재구성하고자 한다.
• 오차 제어가 가능한 그래디언트 추정을 갖춘 적응형(Adam 스타일) 및 비적응형(SGD 스타일) 알고리즘을 설계하여 AP 최대화를 위해 사용하고자 한다.
• 이국적 데이터셋에서의 성능을 이미지 및 그래프 신경망 벤치마크를 통해 실증적으로 검증하며, 클래스 불균형 조건 하에서 AUPRC 성능 향상을 입증하고자 한다.

제안 방법

• 평균 정밀도(AP) 목적함수를 비볼록 복합 함수의 합으로 재구성하며, 외부 수준의 랜덤 변수에 따라 달라지는 내부 함수를 포함시켜 스토하스틱 최적화를 가능하게 한다.
• 각 긍정 예측의 정밀도 점수에 대한 스토하스틱 그래디언트를 추정하기 위해, 각 긍정 예제당 두 개의 스칼라 양을 유지하고 갱신하는 새로운 그래디언트 추정기를 도입한다.
• 최근의 스토하스틱 복합 최적화 기법을 활용하여, 수렴 보장이 있는 적응형(SOAP-Adam) 및 비적응형(SOAP-SGD) 알고리즘을 유도한다.
• AP의 목적함수에서 지표 함수를 대체할 수 있는 서로서티브 손실을 도입하여, 목적함수를 그래디언트 기반 최적화에 적합하게 만든다.
• 그래디언트 추정 오차를 제어하고 모멘텀 및 분산 항을 재귀적으로 갱신함으로써, 온건한 조건 하에 수렴을 확립한다.
• 실제 구현을 위해 libAUC 라이브러리(https://libauc.org/)에 구현되어 있으며, 실용적 적용이 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델에서 AUPRC를 직접 최대화할 수 있는 스토하스틱 최적화 알고리즘을 설계할 수 있는가? 이 알고리즘은 수학적 수렴 보장을 갖출 수 있는가?
• RQ2 스토하스틱 환경에서 비볼록이고 비연속적인 평균 정밀도(AP) 목적함수의 그래디언트를 효율적으로 추정할 수 있는가?
• RQ3 모델 아키텍처와 데이터 불균형이 AUPRC 최적화 모델의 성능에 미치는 영향은 표준 정확도 최적화 모델과 비교해 어떻게 다를까?
• RQ4 소규모 미니배치 크기와 극도로 불균형한 데이터 분포 조건에서도 제안된 방법이 안정적인 성능을 유지하는가?
• RQ5 적응형 최적화(Adam 스타일)가 AUPRC 최대화에 효과적으로 적용될 수 있으며, 이론적 수렴 보장이 가능한가?

주요 결과

• 제안된 SOAP 방법은 극도로 불균형한 데이터를 가진 이미지 및 그래프 신경망 벤치마크에서 이전 방법들에 비해 일관되게 AUPRC 성능 향상을 달성한다.
• 특히 극심한 클래스 불균형 상황에서도 기존 AUPRC 최적화 기반 방법들을 능가하며, 데이터 왜곡에 대한 강건성을 입증한다.
• 소규모 미니배치 크기 변화에 대해 민감하지 않으며, 작고 제한된 데이터로도 높은 성능 유지를 보이며, 실세계 응용에 매우 중요하다.
• 실증 결과는 SOAP를 통한 AP 최적화가 표준 크로스엔트로피 또는 정확도 기반 학습보다 더 우수한 일반화 성능과 높은 AUPRC를 제공함을 확인한다.
• 이론적 분석을 통해 온건한 가정 하에 적응형 및 비적응형 SOAP 변종 모두에 대해 수렴 보장을 확립하였으며, 이는 딥러닝에서 AUPRC 최적화를 위한 첫 번째 수학적 수렴 보장이 있는 방법이다.
• libAUC에 구현되어 실용적 적용이 가능하며, 다양한 딥러닝 아키텍처와 데이터셋에서 효과적임을 입증하였다.