[논문 리뷰] Stochastic AUC Maximization with Deep Neural Networks

Mingrui Liu, Zhuoning Yuan외 2명|arXiv (Cornell University)|2020. 04. 30.

Machine Learning and Algorithms참고 문헌 45인용 수 15

한 줄 요약

이 논문은 표면 손실을 사용하여 문제를 비볼록-볼록 최소최대 최적화로 재구성함으로써 딥 네ural 네트워크를 위한 새로운 스토하스틱 AUC 최적화 프레임워크를 제안한다. 폴락–로자예프스키(PL) 조건을 활용하여 수렴 속도가 빠르고 실용적인 스텝 사이즈를 가진 적응형 스토하스틱 알고리즘을 도입하여, 불균형 데이터에서 향상된 성능을 보여준다.

ABSTRACT

Stochastic AUC maximization has garnered an increasing interest due to better fit to imbalanced data classification. However, existing works are limited to stochastic AUC maximization with a linear predictive model, which restricts its predictive power when dealing with extremely complex data. In this paper, we consider stochastic AUC maximization problem with a deep neural network as the predictive model. Building on the saddle point reformulation of a surrogated loss of AUC, the problem can be cast into a {\it non-convex concave} min-max problem. The main contribution made in this paper is to make stochastic AUC maximization more practical for deep neural networks and big data with theoretical insights as well. In particular, we propose to explore Polyak-\L{}ojasiewicz (PL) condition that has been proved and observed in deep learning, which enables us to develop new stochastic algorithms with even faster convergence rate and more practical step size scheme. An AdaGrad-style algorithm is also analyzed under the PL condition with adaptive convergence rate. Our experimental results demonstrate the effectiveness of the proposed algorithms.

연구 동기 및 목표

• 복잡한 데이터에 대해 표현력이 떨어지는 선형 모델에 의존하는 기존 스토하스틱 AUC 최적화 방법의 한계를 해결한다.
• 딥 네럴 네트워크로 AUC 최적화를 확장하여 고도로 복잡하고 불균형적인 데이터 세트에서 예측 성능을 향상시킨다.
• PL 조건 하에서 이론적 수렴 보장을 갖는 실용적인 스토하스틱 최적화 알고리즘을 개발한다.
• 딥 러닝에서 관찰되는 PL 조건을 활용하여 더 빠른 수렴과 더 강력한 스텝 사이즈 선택을 가능하게 한다.

제안 방법

• 표면 손실을 사용하여 AUC 최적화 문제를 비볼록-볼록 최소최대 최적화 프레임워크로 재구성한다.
• 폴락–로자예프스키(PL) 조건을 활용하여 딥 러닝 환경에서 스토하스틱 알고리즘의 더 빠른 수렴 속도를 확립한다.
• PL 조건을 활용하여 개선된 수렴 행동을 가지는 AdaGrad 기반의 적응형 스텝 사이즈를 갖는 스토하스틱 알고리즘을 설계한다.
• 이론적 수렴을 유지하면서도 대규모 데이터와 딥 아키텍처에 스케일이 가능하도록 새로운 최적화 체계를 도입한다.
• 제한적인 가정을 피하고 동적 학습률 적응을 가능하게 하여 알고리즘의 실용성을 확보한다.

실험 결과

연구 질문

• RQ1 PL 조건 하에서 이론적 수렴을 유지하면서 스토하스틱 AUC 최적화를 딥 네럴 네트워크로 효과적으로 확장할 수 있는가?
• RQ2 폴락–로자예프스키(PL) 조건은 딥 모델을 위한 스토하스틱 AUC 최적화에서 어떻게 더 빠른 수렴을 가능하게 하는가?
• RQ3 딥 AUC 최적화에서 수렴성과 강건성을 향상시키기 위해 어떤 적응형 스텝 사이즈 전략을 개발할 수 있는가?
• RQ4 제안된 알고리즘이 기존 방법과 비교하여 AUC 성능 및 학습 효율성 측면에서 어떻게 다를까?

주요 결과

• 관찰된 PL 조건을 활용하여 제안된 알고리즘이 더 빠른 수렴 속도를 달성한다. 이는 딥 네럴 네트워크에서 실증적으로 관찰된다.
• AdaGrad 스타일의 적응형 스텝 사이즈를 갖는 알고리즘이 PL 조건 하에서 이론적으로 정당화되었으며, 실용성이 향상되었다.
• 선형 모델 기반 AUC 최적화 방법에 비해 불균형 데이터 세트에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 PL 조건 하에서의 수렴을 확인하여 알고리즘의 강건성과 확장성에 대한 견고한 기반을 확보했다.