[논문 리뷰] On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization

Siqi Zhang, Niao He|arXiv (Cornell University)|2018. 06. 12.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 39

한 줄 요약

이 논문은 비연속 비볼록 최적화에서 스 tochastic Mirror Descent(SMD)에 대한 최초의 비점근 수렴 속도를 확립한다. 미니배치가 필요 없이 정류점으로의 수렴 속도가 $\mathcal{O}(1/\sqrt{t})$임을 증명한다. 분석은 상대적으로 약한 볼록성을 가지는 목적함수와 단순한 비연속 정규화항을 갖는 문제에 적용되며, 이는 이완된 확률적 연속성 가정 하에 Bregman 발산 프레임워크를 사용한다.

ABSTRACT

In this paper, we investigate the non-asymptotic stationary convergence behavior of Stochastic Mirror Descent (SMD) for nonconvex optimization. We focus on a general class of nonconvex nonsmooth stochastic optimization problems, in which the objective can be decomposed into a relatively weakly convex function (possibly non-Lipschitz) and a simple non-smooth convex regularizer. We prove that SMD, without the use of mini-batch, is guaranteed to converge to a stationary point in a convergence rate of $ \mathcal{O}(1/\sqrt{t}) $. The efficiency estimate matches with existing results for stochastic subgradient method, but is evaluated under a stronger stationarity measure. Our convergence analysis applies to both the original SMD and its proximal version, as well as the deterministic variants, for solving relatively weakly convex problems.

연구 동기 및 목표

• 비연속 비볼록 스토하스틱 최적화 문제에 대한 Stochastic Mirror Descent(SMD)의 비점근 수렴 거동을 분석하는 것.
• 특히 목적함수의 리프시츠 연속성 필요 없이 완화된 조건 하에서 수렴 보장을 확립하는 것.
• SMD의 프록시멀 및 비프록시멀 변종뿐 아니라 결정론적 미러 디센트까지도 수렴 분석을 확장하는 것.
• 비유클리드 설정(즉, Bregman 발산을 통한)이 표준 유클리드 방법에 비해 더 강력한 정류성 측정을 제공함을 보여주는 것.
• 이 유형의 문제에서 $\mathcal{O}(1/\sqrt{t})$ 수렴 속도를 달성하기 위해 미니배치 샘플링이 필수적이지 않음을 보여주는 것.

제안 방법

• 분석은 일반적인 복합 문제 형태인 $\min_{x\in X} f(x) + r(x) = \mathbb{E}_\xi[F(x;\xi)] + r(x)$ 기반으로 하며, $f(x)$는 상대적으로 약한 볼록성, $r(x)$는 단순한 비연속 볼록 정규화항이다.
• 논문은 비리프시츠 설정으로 일반화된 유한한 기댓값 기울기 조건을 도입하기 위해 $(L,\omega(\cdot))$-Stochastically Relatively Continuous(SRC) 함수 개념을 제안한다.
• 핵심 기술 도구로는 랜덤 부분미분과 Bregman 발산을 포함하는 이항형 부등식을 수립하는 레미마 4.1을 사용하며, 이는 수렴 한계 유도에 기여한다.
• SMD 업데이트 규칙은 $x_{t+1} = \arg\min_{x\in X} \left\{ \langle F'(x_t,\xi_t), x \rangle + r(x) + \frac{1}{\alpha_t} D_\psi(x, x_t) \right\}$로 정의되며, 여기서 $D_\psi$는 1강한 볼록 함수 $\psi$로부터 유도된 Bregman 발산이다.
• 수렴 분석은 Bregman Moreau 포화함수와 $\Delta_{1/(2\rho)}(x)$ 측도를 사용하여 수행되며, 이는 상대적으로 약한 볼록 함수에 대한 정류성의 정도를 측정한다.
• 일정한 스텝 사이즈 $\alpha_t = c/\sqrt{N}$를 사용하며, 최종 출력은 첫 $N$ 반복 동안 정류성 측도를 최소화하는 반복점으로 선택된다.

실험 결과

연구 질문

• RQ1 스토크래틱 미러 디센트(SMD)는 비연속 비볼록 문제에서 미니배치 샘플링 없이도 정류점으로의 비점근 수렴 속도를 달성할 수 있는가?
• RQ2 목적함수가 오직 상대적으로 약한 볼록성만을 가지며 반드시 리프시츠 연속이 아닐 경우, SMD의 수렴 속도는 어떻게 되는가?
• RQ3 비유클리드 Bregman 발산의 사용은 표준 유클리드 노름에 비해 정류성 측도와 수렴 보장에 어떤 영향을 미치는가?
• RQ4 완화된 연속성 가정 하에서, 서브기울기 오ракูล을 갖는 결정론적 미러 디센트 알고리즘으로도 수렴 분석을 확장할 수 있는가?
• RQ5 Bregman Moreau 포화함수 측도 기반으로 $\epsilon$-정류점 해를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?

주요 결과

• 논문은 SMD가 비연속 비볼록 문제에 대해 정류점으로의 비점근 수렴 속도 $\mathcal{O}(1/\sqrt{t})$를 확보함을 증명한다. 이는 스토하스틱 서브기울기 방법에서 알려진 최고의 속도와 일치한다.
• 수렴 결과는 이전 연구에서 각 반복에 $\mathcal{O}(1/\epsilon)$ 개의 샘플이 필요하다고 요구한 것과는 달리, 미니배치를 사용하지 않아도 성립한다.
• 분석은 원래 SMD와 그 프록시멀 변종뿐 아니라 결정론적 미러 디센트 알고리즘에도 적용된다.
• Bregman Moreau 포화함수에 기반한 정류성 측도 $\Delta_{1/(2\rho)}(x)$는 표준 기울기 노름 측도보다 더 강력한 보장을 제공한다.
• 수렴 한계는 비리프시츠 함수로 일반화된 유한한 랜덤 부분기울기 조건을 만족하는 $(L,\omega(\cdot))$-SRC 조건 하에서 도출된다.
• 서브기울기 오라클이 SRC 조건을 만족하는 결정론적 미러 디센트의 경우, $\epsilon$-정류점 해를 달성하기 위해 필요한 반복 수는 $\mathcal{O}(1/\epsilon^2)$이며, 이는 이 설정에서 결정론적 MD에 대한 첫 비점근 결과이다.