[논문 리뷰] Stochastic Optimization of Area Under Precision-Recall Curve for Deep Learning with Provable Convergence.

Qi Qi, Youzhi Luo외 3명|arXiv (Cornell University)|2021. 04. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 7

한 줄 요약

이 논문은 딥러닝에서 정밀도-재현율 곡선 아래 면적(AUPRC)을 최대화하기 위한 첫 번째 증명 가능 수렴성 있는 확률적 최적화 방법을 제안한다. 이 방법은 평균 정밀도(AP) 기반의 대체 손실 함수를 사용한다. 접근 방식은 종속된 내부 함수를 가진 확률적 복합 최적화 문제로 AUPRC 최적화를 공식화하며, 불균형한 이미지 및 그래프 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Areas under ROC (AUROC) and precision-recall curves (AUPRC) are common metrics for evaluating classification performance for imbalanced problems. Compared with AUROC, AUPRC is a more appropriate metric for highly imbalanced datasets. While direct optimization of AUROC has been studied extensively, optimization of AUPRC has been rarely explored. In this work, we propose a principled technical method to optimize AUPRC for deep learning. Our approach is based on maximizing the averaged precision (AP), which is an unbiased point estimator of AUPRC. We show that the surrogate loss function for AP is highly non-convex and more complicated than that of AUROC. We cast the objective into a sum of dependent compositional functions with inner functions dependent on random variables of the outer level. We propose efficient adaptive and non-adaptive stochastic algorithms with provable convergence guarantee under mild conditions by using recent advances in stochastic compositional optimization. Extensive experimental results on graphs and image datasets demonstrate that our proposed method outperforms prior methods on imbalanced problems. To the best of our knowledge, our work represents the first attempt to optimize AUPRC with provable convergence.

연구 동기 및 목표

• 딥러닝에서 AUPRC에 대한 직접 최적화 방법의 부족, 특히 극도로 불균형한 데이터셋에 대해 해결하고자 한다.
• 기존 간접적 또는 히우리스틱 접근 방식보다 우수한 성능을 보이는 원리적인, 증명 가능 수렴성 있는 AUPRC 최적화 프레임워크를 개발하고자 한다.
• 불균형 분류에 있어서 선호되는 지표인 AUPRC와 딥 네URAL 네트워크에서의 실용적 최적화 간 격차를 메우고자 한다.

제안 방법

• AUPRC 최대화를 위한 대체 목표로, AUPRC의 비편향 추정치인 평균 정밀도(AP)를 최적화한다.
• 내부 함수가 외부 수준의 랜덤 변수에 의존하는 종속된 복합 함수의 합으로서 AUPRC 최적화 문제를 공식화한다.
• 최근의 확률적 복합 최적화에서 유도된 적응형 및 비적응형 확률적 알고리즘을 활용한다.
• 대체 손실 함수는 미분 가능하며 딥러닝 모델에서 엔드 투 엔드 학습에 적합하도록 설계된다.
• 유한한 기울기와 구성 요소 함수의 리프시츠 연속성과 같은 온건한 조건 하에서 수렴이 보장된다.
• 신중한 확률적 근사 및 분산 감소 기법을 통해 AUPRC 목표 함수의 높은 비볼록성과 복잡성을 효과적으로 처리한다.

실험 결과

연구 질문

• RQ1 딥러닝에서 이론적 수렴 보장을 갖는 직접적인 AUPRC 최적화가 가능한가?
• RQ2 비볼록성과 복잡한 구조를 가진 AUPRC 최적화 문제를 확률적 복합 최적화를 통해 효과적으로 모델링하고 해결할 수 있는가?
• RQ3 AP를 대체 손실로 최적화하면 간접적 또는 히우리스틱 방법에 비해 불균형 데이터셋에서 더 나은 AUPRC 성능을 얻을 수 있는가?
• RQ4 실제 딥러닝 환경에서 AUPRC 최적화에 적용된 확률적 알고리즘의 수렴 성질은 어떠한가?
• RQ5 제안된 방법은 이미지 및 그래프와 같은 다양한 데이터 유형에서 불균형 학습 시나리오에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 장수분포를 가진 여러 이미지 및 그래프 벤치마크 데이터셋에서 최신 기술 수준의 AUPRC 성능을 달성한다.
• 실험 결과, AUROC를 최적화하거나 간접적 손실 프록시를 사용하는 기준 방법에 비해 AUPRC에서 일관된 향상을 보였다.
• 유한한 조건 하에서 수렴이 보장되어 실용적 구현에 이론적으로 신뢰할 수 있다.
• 평균 정밀도(AP)를 대체 손실로 사용함으로써 딥 네URAL 네트워크에서 AUPRC의 효과적이고 안정적인 최적화가 가능해졌다.
• 적응형 및 비적응형 알고리즘 변형 모두 정류점으로 수렴하며, 실질적으로 적응형 버전이 더 빠른 수렴을 보였다.
• 이 방법은 딥러닝에서 AUPRC 최적화를 위한 증명 가능 수렴성 있는 최적화 프레임워크를 제공하는 첫 번째 방법으로, 문헌에서 중요한 격차를 메웠다.