[논문 리뷰] Convex Optimization with Nonconvex Oracles.

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|2017. 11. 07.

Stochastic Gradient Optimization Techniques인용 수 1

한 줄 요약

이 논문은 일반적인 노이즈 모델 $|F(x) - \hat{F}(x)| \leq \alpha F(x) + \beta$ 하에서, 오직 노이즈가 섞인 비볼록 근사값 $\hat{F}$ 만을 이용할 수 있을 때, 볼록 목적 함수 $F$ 를 다항시간 내에 최소화하는 알고리즘을 제시한다. 이 방법은 감소하는 온도를 갖는 스토하스틱 그래디언트 랑주빈 마르코프 체인을 적응적으로 적용하여, 무한한 노이즈가 존재하는 경우에도 수렴 가능하게 하며, 일반적인 볼록 $F$ 에 대해 비점근적 보장을 제공한다. 이는 이전 연구들에서 요구하던 더 강한 가정들(예: 유계 노이즈 또는 강한 볼록성)을 일반화한 결과이다.

ABSTRACT

In machine learning and optimization, one often wants to minimize a convex objective function $F$ but can only evaluate a noisy approximation $\hat{F}$ to it. Even though $F$ is convex, the noise may render $\hat{F}$ nonconvex, making the task of minimizing $F$ intractable in general. As a consequence, several works in theoretical computer science, machine learning and optimization have focused on coming up with polynomial time algorithms to minimize $F$ under conditions on the noise $F(x)-\hat{F}(x)$ such as its uniform-boundedness, or on $F$ such as strong convexity. However, in many applications of interest, these conditions do not hold. Here we show that, if the noise has magnitude $\alpha F(x) + \beta$ for some $\alpha, \beta > 0$, then there is a polynomial time algorithm to find an approximate minimizer of $F$. In particular, our result allows for unbounded noise and generalizes those of Applegate and Kannan, and Zhang, Liang and Charikar, who proved similar results for the bounded noise case, and that of Belloni et al. who assume that the noise grows in a very specific manner and that $F$ is strongly convex. Turning our result on its head, one may also view our algorithm as minimizing a nonconvex function $\hat{F}$ that is promised to be related to a convex function $F$ as above. Our algorithm is a modification of the stochastic gradient Langevin Markov chain and gradually decreases the temperature of the chain to approach the global minimizer. Analyzing such an algorithm for the unbounded noise model and a general convex function turns out to be challenging and requires several technical ideas that might be of independent interest in deriving non-asymptotic bounds for other simulated annealing based algorithms.

연구 동기 및 목표

• 볼록 함수 $F$ 를 최소화하는 문제에 대해, 오직 노이즈가 섞인 비볼록 근사값 $\hat{F}$ 만을 이용할 수 있을 때의 과제를 해결한다.
• 이전 연구들에서 요구하던 유계 노이즈 또는 $F$ 의 강한 볼록성 같은 강력한 가정을 제거하고, 더 넓은 범위의 노이즈 모델로 일반화한다.
• 형태 $\alpha F(x) + \beta$ 의 무한한 노이즈에 대해 증명 가능한 효율적인 알고리즘을 개발한다.
• 일반적인 볼록성과 노이즈 조건 하에서 시뮬레이티드 앤날링 스타일 알고리즘의 비점근적 수렴 보장을 확립한다.

제안 방법

• 감소하는 온도 스케줄을 갖는 스토하스틱 그래디언트 랑주빈 마르코프 체인(SGLD)을 적응적으로 적용하여, 체인이 $F$ 의 전역 최소화자 근처로 점차 집중되도록 한다.
• 노이즈가 무한한 오라클 상황에서의 분석을 위해, 새로운 분석 프레임워크를 도입한다. 여기서 $|F(x) - \hat{F}(x)| \leq \alpha F(x) + \beta$ 이며 $\alpha, \beta > 0$ 이다.
• 라플라스 함수의 논리를 활용하여, 노이즈가 있는 그래디언트 하에서 랑주빈 역학의 이동항과 확산항을 제어한다.
• 제시된 노이즈 모델 하에서, $F$ 의 $\varepsilon$-근사 최소화자에 수렴하는 다항시간 보장을 확립한다.
• 탐색을 보장하기에 충분히 느리게 감소하는 온도 스케줄을 활용하여 수렴을 보장한다.
• 강한 볼록성과 무관한 비점근적 하한선을 유도한다.

실험 결과

연구 질문

• RQ1 오직 노이즈가 섞인 비볼록 근사값 $\hat{F}$ 만을 이용할 수 있을 때, 볼록 함수 $F$ 를 최소화할 수 있는가?
• RQ2 노이즈 $F(x) - \hat{F}(x)$ 가 어떤 조건을 만족해야 $F$ 의 근사 최소화자에 다항시간 내에 수렴할 수 있는가?
• RQ3 스토하스틱 그래디언트 랑주빈 동역학은 무한한 노이즈와 일반적인 볼록 $F$ 에 대해 적응 및 분석이 가능한가?
• RQ4 온도 스케줄은 곱셈적 및 덧셈적 노이즈 존재 조건 하에서 수렴에 어떤 영향을 미치는가?

주요 결과

• 노이즈 모델 $|F(x) - \hat{F}(x)| \leq \alpha F(x) + \beta$ 하에서, 알고리즘이 다항시간 내에 $F$ 의 $\varepsilon$-근사 최소화자에 도달한다.
• 이전 연구들에서 요구하던 유계 노이즈 또는 강한 볼록성 조건을 제거함으로써, $F$ 와 노이즈의 구조에 대한 제약 조건 없이 일반화된 결과를 도출한다.
• 노이즈가 무한한 경우에도, 랑주빈 기반 알고리즘의 비점근적 수렴 보장을 확립한다.
• 분석 과정을 통해 다른 시뮬레이티드 앤날링 및 스토하스틱 최적화 알고리즘에 적용 가능한 기술적 통찰을 도출한다.
• 비볼록일 수 있는 $\hat{F}$ 를 사용할 수 있음에도 불구하고, $F$ 의 본질적 볼록성을 활용하여 $F$ 를 성공적으로 최소화한다.