[논문 리뷰] Convergence of adaptive algorithms for weakly convex constrained optimization

Ahmet Alacaoglu, Yura Malitsky외 1명|arXiv (Cornell University)|2020. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 약한 볼록성과 제약 조건이 있는 확률적 최적화 문제에서 AMSGrad 적응형 알고리즘의 수렴성을 확립하며, Moreau 보완의 기울기 노름에 대해 $Ó(\log T / \sqrt{T})$ 의 속도를 달성한다—이것은 기존의 비제약 조건 하에서의 속도와 일치한다. 분석은 배치 크기 1, 일정한 모멘터 파라미터 $\beta_1, \beta_2$, 유계가 아닌 정의역을 허용하며, 적응형 방법을 제약 조건이 있고 비미분 가능한 상황으로 확장한다.

ABSTRACT

We analyze the adaptive first order algorithm AMSGrad, for solving a constrained stochastic optimization problem with a weakly convex objective. We prove the $\mathcal{ ilde O}(t^{-1/4})$ rate of convergence for the norm of the gradient of Moreau envelope, which is the standard stationarity measure for this class of problems. It matches the known rates that adaptive algorithms enjoy for the specific case of unconstrained smooth stochastic optimization. Our analysis works with mini-batch size of $1$, constant first and second order moment parameters, and possibly unbounded optimization domains. Finally, we illustrate the applications and extensions of our results to specific problems and algorithms.

연구 동기 및 목표

• 제약 조건이 있고 약한 볼록성 있는 확률적 최적화 문제에 대해 적응형 알고리즘의 이론적 이해 부족을 메우기 위해.
• AMSGrad의 수렴 보장을 비제약 조건의 미분 가능한 문제에서 비미분 가능한 목적 함수와 비트ivial한 제약 조건이 있는 상황으로 확장하기 위해.
• 실제 적용 조건을 고려한 분석: 배치 크기 1, 일정한 $\\beta_1, \beta_2$, 유계가 아닌 정의역.
• 약한 볼록 최적화에서 표준 정류성 측정법인 Moreau 보완의 기울기 노름에 대한 수렴 속도를 확립하기 위해.
• 실제 제약 조건이 있는 비볼록 문제(예: 강건 학습, 희소 최적화 등)에서 AMSGrad와 같은 적응형 방법을 사용하기 위한 이론적 기반을 제공하기 위해.

제안 방법

• 약한 볼록 문제에서 정류성을 정의하기 위해 Moreau 보완을 스무딩 기법으로 사용한다.
• Davis와 Drusvyatskiy(2020)의 분석 프레임워크를 제약 조건이 있는 약한 볼록성 있는 확률적 최적화 문제에 적응시킨다.
• 적응형 스텝 사이즈와 모멘텀을 사용하여 Moreau 보완의 기울기 노름을 유한하게 제한하기 위해 새로운 부등식 체인을 적용한다.
• 적응형 방법에서 비균일한 곡률를 다루기 위해 $\hat{v}_t$ 를 통한 가중 노름 프레임워크를 도입한다.
• Moreau 보완의 기울기와 기울기 매핑을 연결하기 위해 일정한 $\bar{\rho} = 2\rho$ 를 사용하여 속도 유도를 가능하게 한다.
• 근사 연산자의 비확장성과 삼각 부등식을 활용하여 수렴 bound 내 오차 항을 제어한다.

실험 결과

연구 질문

• RQ1 AMSGrad는 실용적인 초모수 설정을 사용할 때 약한 볼록성과 제약 조건이 있는 확률적 최적화 문제에서 수렴할 수 있는가?
• RQ2 AMSGrad의 수렴 속도는 제약 조건이 있는 상황에서 비제약 조건의 미분 가능한 확률적 최적화 문제와 동일한가?
• RQ3 분석은 실무에서 사용되는 바와 같이 배치 크기 1과 일정한 $\beta_1, \beta_2$ 파라미터를 지원할 수 있는가?
• RQ4 적응형 알고리즘 하에서 약한 볼록성과 제약 조건이 있는 문제에 대해 Moreau 보완의 기울기 노름은 유효하고 타이트한 정류성 측정법인가?
• RQ5 분석은 적응형 최적화에서 비유계 정의역과 비미분 가능한 목적 함수를 어떻게 다루는가?

주요 결과

• AMSGrad는 약한 볼록성과 제약 조건이 있는 최적화 문제에서 Moreau 보완의 기울기 노름에 대해 $\tilde{\mathcal{O}}(\log T / \sqrt{T})$ 의 수렴 속도를 달성한다.
• 이 속도는 비제약 조건의 미분 가능한 확률적 최적화 문제에서 알려진 최고의 속도와 일치하며, 제약 조건이 있는 상황에서도 적응형 방법의 강건성을 확인한다.
• 분석은 배치 크기 1, 일정한 $\beta_1$ 및 $\beta_2$, 비유계 정의역에서도 유효하며, 실무적인 학습 설정과 일치한다.
• 결과는 제약 조건이 있는 $L$-스무스 문제와 RMSprop의 변형으로까지 확장되며, 광범위한 적용 가능성을 보여준다.
• 핵심 기여 중 하나는 가중 노름과 리프시츠 연속성에 의해 기울기 매핑과 Moreau 보완의 기울기를 연결하는 경계이다.
• 증명 과정에서 $\|\mathcal{G}_{1/\bar{\rho}}(x_t)\| \leq \|\nabla \varphi^{t}_{1/\bar{\rho}}(x_t)\|_{\hat{v}_t^{-1/2}} + \bar{\rho} \|w\|_{\hat{v}_t^{1/2}}$ 라는 식을 확립하여 속도 유도를 가능하게 한다.