[논문 리뷰] High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance

Abdurakhmon Sadiev, М. А. Данилова외 6명|arXiv (Cornell University)|2023. 02. 02.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 유사한 가정 조건 하에서 확률적 최적화 및 변분부등식에 대해 고확률 수렴 보장을 제시한다. 특히, 분산이 유계가 아니더라도 중심 $\alpha$-번째 모멘트가 유계임을 가정함으로써 $\alpha \in (1,2]$ 조건을 허용한다. 저자들은 새로운 알고리즘을 개발하여 강건성을 향상시켰으며, 유계 분산이나 유계 기울기 조건 없이 부드러운 비볼록, 볼록, 단조적인 설정에서 $\widetilde{\cal O}(\cdot)$ 복잡도 한계를 달성한다.

ABSTRACT

During recent years the interest of optimization and machine learning communities in high-probability convergence of stochastic optimization methods has been growing. One of the main reasons for this is that high-probability complexity bounds are more accurate and less studied than in-expectation ones. However, SOTA high-probability non-asymptotic convergence results are derived under strong assumptions such as the boundedness of the gradient noise variance or of the objective's gradient itself. In this paper, we propose several algorithms with high-probability convergence results under less restrictive assumptions. In particular, we derive new high-probability convergence results under the assumption that the gradient/operator noise has bounded central $α$-th moment for $α\in (1,2]$ in the following setups: (i) smooth non-convex / Polyak-Lojasiewicz / convex / strongly convex / quasi-strongly convex minimization problems, (ii) Lipschitz / star-cocoercive and monotone / quasi-strongly monotone variational inequalities. These results justify the usage of the considered methods for solving problems that do not fit standard functional classes studied in stochastic optimization.

연구 동기 및 목표

• 약한 노이즈 가정 하에서 확률적 최적화의 고확률 수렴 분석에 대한 격차를 해결하기 위해.
• 기존 결과를 유계 분산 또는 기울기 조건을 초월하여, 체중 꼬리 노이즈를 가진 실제 문제에 적용 가능성을 확장하기 위해.
• 비유계 분산 조건 하에서도 매끄러운 비볼록, 볼록 및 단조적인 변분부등식 문제에서 고확률 수렴을 유지하는 알고리즘을 개발하기 위해.
• 노이즈 尾행동에 민감한 복잡도 한계를 제공하여 기대값 기반 한계보다 실용적 관련성을 높이기 위해.
• 기울기 클리핑과 적응형 스텝 사이즈에 대한 이론적 보장을 $\alpha$-모멘트 조건 하에 수립하기 위해.

제안 방법

• 기울기 및 연산자 노이즈의 $\alpha$-번째 모멘트 유계 조건 ($\alpha \in (1,2]$) 기반의 새로운 분석 프레임워크를 제안하여 기존의 유계 분산 가정을 대체한다.
• 체중 꼬리 노이즈 환경에서 큰 이탈을 제어하기 위해 적응형 스텝 사이즈와 기울기 클리핑을 갖춘 수정된 확률적 기울기 방법을 도입한다.
• 누적 노이즈를 제어하기 위해 베르누이-유사 부등식을 사용한 재귀적 농도 집중 분석을 활용하여 고확률 안정성을 확보한다.
• 제한된 갭 함수와 수준집합 불변성의 활용을 통해 최소화 문제와 변분부등식 문제 모두에 대해 고확률 경계를 유도한다.
• 귀납법과 尾확률 제어를 통해 반복값이 유계 분산 조건 하에서도 솔루션 주변의 구 내에 고확률로 유지됨을 보여준다.
• 스텝 사이즈 선택과 신뢰 수준 간의 트레이드오프를 통해 복잡도 한계를 수립하며, 수렴 속도와 강건성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 기울기 노이즈의 분산이 비유계일 경우에도 확률적 최적화에서 고확률 수렴을 달성할 수 있는가?
• RQ2 비점근적 고확률 수렴을 보장하기 위해 필요한 최소한의 노이즈 모멘트 가정은 무엇인가?
• RQ3 $\alpha$-모멘트 조건 ($\alpha \in (1,2]$)이 확률적 방법의 수렴 속도와 복잡도에 어떤 영향을 미치는가?
• RQ4 기울기 클리핑과 적응형 스텝 사이즈가 체중 꼬리 노이즈 하에서 고확률 수렴을 보장할 수 있는가?
• RQ5 $\alpha$-모멘트 노이즈 하에서 신뢰 수준 $1-\beta$와 반복 복잡도 사이의 최적 트레이드오프는 무엇인가?

주요 결과

• 논문은 $\alpha \in (1,2]$ 조건 하에서 $\alpha$-모멘트 유계 노이즈 조건 하에서 매끄러운 비볼록, 볼록, 강볼록 최소화 문제에 대해 고확률 수렴을 확립한다.
• 강볼록 문제의 경우, 확률 $1-\beta$ 이상로 $\|x^{K+1} - x^* \|^{2} = \widetilde{\cal O}\left(\max\left\{\exp\left(-\frac{\mu K}{\ell \ln \frac{K}{\beta}}\right), \frac{\sigma^2 \ln^{\frac{2(\alpha-1)}{\alpha}}(K/\beta) \ln^2(B_\varepsilon)}{K^{\frac{2(\alpha-1)}{\alpha}} \mu^2}\right\} \right)$ 를 달성한다.
• 반복 복잡도는 $\|x^{K+1} - x^* \|^{2} \leq \varepsilon$ 를 달성하기 위해 $K = \widetilde{\cal O}\left(\frac{\ell}{\mu} \ln\left(\frac{R^2}{\varepsilon}\right) \ln\left(\frac{\ell}{\mu\beta} \ln\frac{R^2}{\varepsilon}\right) + \left(\frac{\sigma^2}{\mu^2 \varepsilon}\right)^{\frac{\alpha}{2(\alpha-1)}} \ln\left(\frac{1}{\beta} \left(\frac{\sigma^2}{\mu^2 \varepsilon}\right)^{\frac{\alpha}{2(\alpha-1)}}\right) \ln^{\frac{\alpha}{\alpha-1}}(B_\varepsilon)\right)$ 이다.
• 분석 결과, 노이즈 항의 성장률을 제어함으로써 비유계 분산 조건 하에서도 반복값이 솔루션 주변의 반경 $R$ 내에 고확률로 유지됨을 보여준다.
• 단조 및 강단조 변분부등식 문제에 대해서도 동일한 $\alpha$-모멘트 조건 하에서 $\widetilde{\cal O}(\cdot)$ 복잡도 한계를 달성한다.
• 결과적으로 고확률 수렴이 유계 기울기 또는 유계 분산 조건 없이도 가능함을 입증하여 이론적 보장의 적용 범위를 크게 넓혔다.