[논문 리뷰] Non-Convex Min-Max Optimization: Provable Algorithms and Applications in Machine Learning

Hassan Rafique, Mingrui Liu외 2명|arXiv (Cornell University)|2018. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 101

한 줄 요약

이 논문은 최소화 성분이 약凸이고 최대화 성분이 볼록인 비볼록 최소-최대 문제를 위한 프록시멀 가이드드 확률적 서그레디언트 및 분산 감소 방법을 제안한다. 기대값 설정과 유한합 설정에서 거의 정류점에 도달하는 데 있어 처음으로 증명 가능한 계산 복잡도를 확립하며, 기계학습 분야의 비볼록 안장점 최적화 이론을 발전시킨다.

ABSTRACT

Min-max saddle-point problems have broad applications in many tasks in machine learning, e.g., distributionally robust learning, learning with non-decomposable loss, or learning with uncertain data. Although convex-concave saddle-point problems have been broadly studied with efficient algorithms and solid theories available, it remains a challenge to design provably efficient algorithms for non-convex saddle-point problems, especially when the objective function involves an expectation or a large-scale finite sum. Motivated by recent literature on non-convex non-smooth minimization, this paper studies a family of non-convex min-max problems where the minimization component is non-convex (weakly convex) and the maximization component is concave. We propose a proximally guided stochastic subgradient method and a proximally guided stochastic variance-reduced method for expected and finite-sum saddle-point problems, respectively. We establish the computation complexities of both methods for finding a nearly stationary point of the corresponding minimization problem.

연구 동기 및 목표

• 기대값 또는 대규모 유한합이 있는 비볼록 최소-최대 문제에 대해 증명 가능한 효율적인 알고리즘이 부족한 문제를 해결하기 위해.
• 최소화 성분이 약凸이고 최대화 성분이 볼록인 비볼록 최소-최대 문제의 클래스를 연구하기 위해.
• 이러한 문제의 기대값 및 유한합 설정에 대해 이론적 수렴 보장을 갖는 확률적 알고리즘을 개발하기 위해.
• 이러한 설정에서 거의 정류점에 도달하는 데 있어 계산 복잡도의 경계를 설정하기 위해.

제안 방법

• 약凸 최소화와 볼록 최대화를 갖는 기대값 최소-최대 문제에 대해 프록시멀 가이드드 확률적 서그레디언트 방법을 제안한다.
• 동일한 구조적 가정 하에 유한합 최소-최대 문제에 대해 프록시멀 가이드드 확률적 분산 감소 방법을 도입한다.
• 비볼록 설정에서 서그레디언트 업데이트를 안정화하기 위해 프록시멀 정규화를 사용한다. 이는 수렴 행동을 향상시킨다.
• 유한합 설정에서 수렴 속도를 향상시키기 위해 분산 감소를 갖는 확률적 근사 기법을 적용한다.
• 최소화 성분의 정류성 측도에 기반한 이론적 복잡도 경계를 유도한다.
• 약凸성과 수렴 보장을 보장하기 위해 비볼록 비미분 가능 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 약凸 최소화와 볼록 최대화를 갖는 비볼록 최소-최대 문제에서 거의 정류점에 도달하는 데 있어 계산 복잡도는 무엇인가?
• RQ2 기대값 및 유한합 설정에서 수렴 보장이 있는 확률적 알고리즘을 이러한 문제에 대해 설계할 수 있는가?
• RQ3 프록시멀 가이드가 비볼록 최소-최대 최적화에서 수렴을 어떻게 향상시키는가?
• RQ4 유한합 비볼록 최소-최대 문제에서 분산 감소 방법에 대한 이론적 보장은 무엇인가?
• RQ5 제안된 방법이 약凸 조건 하에서 최적 또는 근사 최적 복잡도 경계를 달성할 수 있는가?

주요 결과

• 프록시멀 가이드드 확률적 서그레디언트 방법은 기대값 최소-최대 문제에서 ε-정류점에 도달하는 데 O(1/ε²)의 계산 복잡도를 달성한다.
• 프록시멀 가이드드 확률적 분산 감소 방법은 유한합 최소-최대 문제에서 n개의 샘플 수를 고려할 때 O(n + 1/ε²)의 복잡도를 확보한다.
• 두 방법 모두 약凸 최소화와 볼록 최대화를 갖는 비볼록 최소-최대 문제에 대해 증명 가능한 복잡도 경계를 제공하는 최초의 방법이다.
• 이론적 분석은 약凸성과 볼록성에 대한 표준 가정 하에서 거의 정류점으로의 수렴을 확인한다.
• 결과는 분포로 불안정한 학습 및 분해 불가능 손실 최소화와 같은 도전적인 기계학습 작업에 최소-최대 최적화의 적용 가능성을 확장한다.