[논문 리뷰] Recent Theoretical Advances in Non-Convex Optimization

М. А. Данилова, Pavel Dvurechensky외 5명|arXiv (Cornell University)|2020. 12. 11.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 종합 검토는 최근 비볼록 최적화 이론적 진전에 대한 포괄적인 개요를 제공하며, 일阶, 확률적, 제로계수 방법에 대한 전역 성능 보장을 집중적으로 다룬다. 폴리악–로자예프스키 조건 및 α-약한 준볼록성과 같은 구조적 가정 하에서 수렴 속도를 확립함으로써, 일반적인 비볼록 문제의 비가역성에도 불구하고 정류점을 찾는 데 다항식 시간 복잡도를 가능하게 한다.

ABSTRACT

Motivated by recent increased interest in optimization algorithms for non-convex optimization in application to training deep neural networks and other optimization problems in data analysis, we give an overview of recent theoretical results on global performance guarantees of optimization algorithms for non-convex optimization. We start with classical arguments showing that general non-convex problems could not be solved efficiently in a reasonable time. Then we give a list of problems that can be solved efficiently to find the global minimizer by exploiting the structure of the problem as much as it is possible. Another way to deal with non-convexity is to relax the goal from finding the global minimum to finding a stationary point or a local minimum. For this setting, we first present known results for the convergence rates of deterministic first-order methods, which are then followed by a general theoretical analysis of optimal stochastic and randomized gradient schemes, and an overview of the stochastic first-order methods. After that, we discuss quite general classes of non-convex problems, such as minimization of $α$-weakly-quasi-convex functions and functions that satisfy Polyak--Lojasiewicz condition, which still allow obtaining theoretical convergence guarantees of first-order methods. Then we consider higher-order and zeroth-order/derivative-free methods and their convergence rates for non-convex optimization problems.

연구 동기 및 목표

• 일반적인 비볼록 문제의 비가역성에도 불구하고 비볼록 설정에서 전역 최적화의 이론적 과제를 해결하기 위해.
• 일阶 방법에 대한 전역 수렴 보장을 허용하는 비볼록 문제의 구조적 클래스를 특정하기 위해.
• 정류점 찾기와 같은 완화된 목표 하에서 결정론적 및 확률적 일阶 방법의 수렴 속도를 분석하기 위해.
• 고차 및 제로계수 방법으로의 이론적 분석을 확장하여 기울기 없음 최적화를 위해.
• 기계 학습 및 데이터 분석 응용 분야에 관련된 최근 이론적 결과들을 통합적인 개요로 제공하기 위해.

제안 방법

• 클래식한 예시를 사용하여 일반 비볼록 문제의 비가역성을 분석함으로써, 전역 최소화가 NP-난이도임을 보여줌.
• 유연화 전략 도입: (1) 숨겨진 볼록성 또는 문제 구조 활용, (2) 전역 최소값 대신 정류점 목표로 설정.
• 폴리악–로자예프스키 조건 하에서 일阶 방법의 수렴 보장을 확립하여 전역 선형 수렴 확보.
• α-약한 준볼록 함수 분석을 통해 전역 하향 수렴 속도 달성.
• 이론적 분석을 확률적 및 무작위 기반 기울기 계획에 적용하여 최적 수렴 속도 유도.
• 기울기 없음 설정, 예를 들어 강화 학습 및 적대적 공격에 적합한 제로계수 방법 고려 및 유도된 수렴 속도 제공.

실험 결과

연구 질문

• RQ1 일반 비볼록 문제의 비가역성에도 불구하고 비볼록 최적화에 대해 전역 수렴 보장을 확립할 수 있는가?
• RQ2 목적 함수에 대한 어떤 구조적 가정이 일阶 방법의 전역 수렴 가능성을 보장하는가?
• RQ3 비볼록 설정에서 확률적 및 무작위 일阶 방법의 최적 수렴 속도는 무엇인가?
• RQ4 고차 및 제로계수 방법은 비볼록 최적화에서 이론적 보장 하에 어떻게 성능을 발휘하는가?
• RQ5 감소하는 온도 T_k = c / ln(2+k)를 갖는 랭제빈 역학은 비볼록 문제에서 전역 수렴을 보장하는가?

주요 결과

• 폴리악–로자예프스키 조건은 일阶 방법에 대해 전역 선형 수렴을 보장하며, 다항식 시간 복잡도 가능.
• α-약한 준볼록 함수의 경우, 일阶 방법은 O(1/√k) 수렴 속도로 전역 하향 수렴 달성.
• 적절한 가정 하에서 확률적 일阶 방법은 최적 수렴 속도 달성하며, 복잡도 문제 구조에 따라 달라짐.
• 제로계수 방법은 블랙박스 공격 및 시뮬레이션 최적화와 같은 기울기 없음 설정에서 효과적이며, 도출된 수렴 속도 보유.
• 감소하는 온도 T_k = c / ln(2+k)를 갖는 랭제빈 역학은 한계에서 전역 최소값으로 수렴 보장.
• 바르드 코르푸트와 같은 저이격도 수열의 사용은 초기 점 커버리지 향상하여 d_n = O(√n m^{-1/n} ln m) 달성.