[논문 리뷰] Stochastic Methods for Composite and Weakly Convex Optimization Problems

John C. Duchi, Feng Ruan|arXiv (Cornell University)|2017. 03. 24.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 16

한 줄 요약

이 논문은 목적 함수가 비미분 가능한 볼록 함수와 미분 가능한 사상의 복합형인 복합 최적화 문제와 약한 볼록 최적화 문제를 해결하기 위한 확률적 프록시-선형 및 서브기울기 방법을 제안한다. 분포가 확률적 또는 알려지지 않은 경우에도 적용 가능하며, 미묘한 조건 하에서 이들 방법은 일阶 정류점으로 수렴하며, 비미분 가능한 위상 복귀 문제에 대한 이론적 보장과 실험적 검증을 제공한다.

ABSTRACT

We consider minimization of stochastic functionals that are compositions of a (potentially) non-smooth convex function $h$ and smooth function $c$ and, more generally, stochastic weakly-convex functionals. We develop a family of stochastic methods---including a stochastic prox-linear algorithm and a stochastic (generalized) sub-gradient procedure---and prove that, under mild technical conditions, each converges to first-order stationary points of the stochastic objective. We provide experiments further investigating our methods on non-smooth phase retrieval problems; the experiments indicate the practical effectiveness of the procedures.

연구 동기 및 목표

• 제한되거나 노이즈가 있는 데이터 접근 조건에서, $ f(x) = \mathbb{E}_P[h(c(x;S);S)] $ 형태의 확률적 복합 목적 함수를 최소화하는 데 도전한다. 여기서 $ h $ 는 볼록 함수이고 $ c $ 는 미분 가능한 함수이다.
• 목적 함수가 반드시 볼록이 아니지만 약한 볼록 조건을 만족하는 경우, 확률적 및 약한 볼록 설정으로 프록시-선형 방법을 확장한다.
• 표본 노이즈와 알려지지 않은 분포가 존재하는 상황에서도 수렴 보장을 유지하는 실용적인 확률적 알고리즘을 개발한다.
• 복합 및 일반적인 약한 볼록 확률적 최적화 문제에 대해, 일阶 정류점으로의 이론적 수렴을 보장한다.
• 비미분 가능한 위상 복귀 문제에 대한 수치 실험을 통해 제안된 방법의 효과성을 검증한다.

제안 방법

• 복합 함수 $ f(x) = h(c(x)) $ 의 선형화 모델을 반복적으로 최소화하는 확률적 프록시-선형 알고리즘을 제안하며, $ S \sim P $ 에서의 노이즈가 있는 표본을 사용한다.
• 모델 $ f_{x_k}(y) = h(c(x_k) + \nabla c(x_k)^T(y - x_k)) $ 를 정의하며, 이는 $ y $ 에 대해 볼록하다. 이를 바탕으로 정규화자 $ \varphi $ 와 프록시항을 포함한 보조 문제를 구성한다.
• 목적 함수 $ f(x;S) $ 의 확률적 기울기 추정치 $ g_k $ 를 사용하며, $ g_k \in \partial h(c(x_k);S) \cdot \nabla c(x_k;S) $ 이다. 이를 통해 반복을 $ x_{k+1} = \arg\min_{x \in X} \left\{ f_{x_k}(x) + \varphi(x) + \frac{1}{2\alpha_k}\|x - x_k\|^2 \right\} $ 방식으로 갱신한다.
• 프록시-선형 모델의 계산 비용이 높을 경우를 대비해, 대안으로 확률적 일반화 서브기울기 방법을 도입한다.
• 마팅글 및 $ L^2 $ 유계성 논증을 통해 수렴을 확립하며, 반복이 유계이고 거의 확실하게 정류점으로 수렴함을 보여준다.
• 스텝 사이즈 $ \alpha_k $, 노이즈 $ L(S_k) $, 감쇠 인자 $ \lambda $ 를 포함하는 $ \|x_k\| $ 의 재귀적 유계 조건을 제시하며, $ \|x_k\| $ 가 확률적으로 유계로 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 프록시-선형 방법은 분포에 대한 표본 접근만 있는 경우, 약한 볼록 및 복합 확률적 최적화 문제로 확장될 수 있는가?
• RQ2 확률적 프록시-선형 및 서브기울기 방법이 비볼록 설정에서 일阶 정류점으로 수렴하기 위한 조건은 무엇인가?
• RQ3 제안된 방법들은 비미분 가능하고 비볼록인 문제, 예를 들어 위상 복귀 문제에서 실제로 어떻게 성능을 발휘하는가?
• RQ4 목적 함수가 오직 약한 볼록 또는 복합형인 경우, 반복의 이론적 보장을 어떻게 제공할 수 있는가?
• RQ5 확률적 기울기 및 노이즈 항에 대한 미묘한 정규성 및 모멘트 조건 하에서 수렴을 확립할 수 있는가?

주요 결과

• 미묘한 기술적 조건(예: $ h $ 와 $ \nabla c $ 의 리프시츠 연속성) 하에서, 확률적 프록시-선형 방법은 확률적 복합 목적 함수 $ f(x) = \mathbb{E}_P[h(c(x;S);S)] $ 의 일阶 정류점으로 거의 확실하게 수렴한다.
• 스토크래틱스 유계성 조건 하에서, 반복 $ x_k $ 는 거의 확실하게 유계이며, $ \sup_k \mathbb{E}[\|x_k\|] < \infty $ 를 만족한다. 이는 $ \mathbb{E}[L(S)^2] = 1 $ 이라는 조건을 만족할 때 성립한다. 여기서 $ L(S) $ 는 확률적 기울기를 유계로 제한하는 항이다.
• 마팅글 수렴 논증을 통해 수렴을 확보한다: 노이즈 항 $ Z_k - \mathbb{E}[Z_k] \to 0 $ 이 거의 확실하게 수렴하므로, $ \|x_k\| $ 가 안정화됨을 보장한다.
• 정규화자 $ \varphi $ 는 반복 과정에서 유계이며, $ \varphi(x_k) \leq B' $ 를 모든 $ k $ 에 대해 만족한다. 이는 $ \varphi $ 에 대한 강제성 및 정규성 조건 하에서 성립한다.
• 확률적 일반화 서브기울기 방법 역시 정류점으로 수렴하며, 수렴 속도는 스텝 사이즈 $ \alpha_k $ 와 노이즈 구조에 따라 달라진다.
• 비미분 가능한 위상 복귀 문제에 대한 수치 실험을 통해 제안된 방법의 실용적 효과성을 입증하였으며, 안정적인 수렴과 노이즈에 대한 강건성을 보였다.