[논문 리뷰] Convex Optimization with Unbounded Nonconvex Oracles using Simulated Annealing

Oren Mangoubi|arXiv (Cornell University)|2017. 11. 07.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 시뮬레이티드 앤날링과 확률적 경량화 랑주비안 역학(SGLD)을 조합하여, 비선형성과 무한대의 곱셈 및 덧셈 노이즈를 가진 노이즈 있는 오라클을 사용해 볼록 함수를 다항시간 내에 최소화하는 알고리즘을 제시한다. 이 방법은 점차 온도를 낮춰서 빠른 혼합과 전역 최소화점 주변의 집중을 동시에 확보하며, 비볼록 노이즈가 존재하더라도 원하는 오차 범위 내의 근사해를 확보한다.

ABSTRACT

We consider the problem of minimizing a convex objective function $F$ when one can only evaluate its noisy approximation $\hat{F}$. Unless one assumes some structure on the noise, $\hat{F}$ may be an arbitrary nonconvex function, making the task of minimizing $F$ intractable. To overcome this, prior work has often focused on the case when $F(x)-\hat{F}(x)$ is uniformly-bounded. In this paper we study the more general case when the noise has magnitude $αF(x) + β$ for some $α, β> 0$, and present a polynomial time algorithm that finds an approximate minimizer of $F$ for this noise model. Previously, Markov chains, such as the stochastic gradient Langevin dynamics, have been used to arrive at approximate solutions to these optimization problems. However, for the noise model considered in this paper, no single temperature allows such a Markov chain to both mix quickly and concentrate near the global minimizer. We bypass this by combining "simulated annealing" with the stochastic gradient Langevin dynamics, and gradually decreasing the temperature of the chain in order to approach the global minimizer. As a corollary one can approximately minimize a nonconvex function that is close to a convex function; however, the closeness can deteriorate as one moves away from the optimum.

연구 동기 및 목표

• 진정한 볼록 함수 F의 노이즈 있는 근사치 ˆF만 이용 가능한 볼록 최적화 문제를 다루는 것, 특히 노이즈가 무한대이며 비볼록일 경우.
• 스토케스틱 경량화 랑주비안 역학(SGLD)과 같은 기존 마르코프 체인 방법의 한계를 극복하는 것 — 다항 및 덧셈 노이즈 하에서 빠른 혼합과 집중을 동시에 달성하지 못함.
• 함수 값에 비례하는 노이즈 형태 |ˆF(x)−F(x)| ≤ α(F(x)−F(x*)) + β를 가질 경우에도 다항시간 내에 F의 근사 최소화점을 찾는 알고리즘을 개발하는 것.
• 이전의 유한한 덧셈 노이즈 모델을 더 현실적인 모델로 일반화하여, 함수 값에 비례하는 노이즈를 허용함으로써 적응형 계산 비용을 가능하게 하는 것.

제안 방법

• 시뮬레이티드 앤날링과 스토케스틱 경량화 랑주비안 역학(SGLD)을 조합하여 온도를 점차 감소시켜 혼합 속도와 전역 최소화점 주변 집중을 균형 잡는다.
• 부드럽지 않은 함수와 노이즈를 다루기 위해 진짜 함수 F의 스무딩 근사 ˜fσ를 사용하며, σ는 부드러움과 근사 정확도 사이의 균형을 맞추기 위해 선택된다.
• 현재 함수 값 ˆF(xk)에 따라 적응하는 온도 스케줄 ξk를 사용하여 수렴성을 확보하면서 혼합 성질을 유지한다.
• 함수의 부드러움, 기울기 범위, 노이즈 수준을 포함한 복잡한 식에서 유도된 스텝 사이즈 ηk = η(ξk)를 사용하여 SGLD 역학을 제어한다.
• 에포크마다 δ, r, imax 등의 파라미터를 동적으로 조정하는 새로운 안내 스케줄을 도입하여 오차 범위를 유지한다.
• 농도 부등식(Hanson-Wright 등)과 확률적 경계를 사용하여 알고리즘이 출력하는 값이 진짜 최소화점 주변의 원하는 이웃 내에 높은 확률로 포함됨을 증명한다.

실험 결과

연구 질문

• RQ1 오라클이 제공하는 노이즈 있는 근사치에서 무한대의 비볼록 노이즈를 가진 볼록 함수를 다항시간 내에 최소화할 수 있는 알고리즘이 존재하는가?
• RQ2 다양한 온도 스케줄을 적용한 시뮬레이티드 앤날링이 다항 및 덧셈 노이즈 환경에서 표준 SGLD보다 성능이 뛰어나지 않는가?
• RQ3 특히 최소화점 근처에서 함수 값이 증가함에 따라 노이즈가 커지는 상황에서도 원하는 오차 범위 ˆε를 달성할 수 있는가?
• RQ4 이러한 노이즈 모델 하에서 빠른 혼합과 강력한 집중을 동시에 유지할 수 있는가, 만약 가능하면 어떻게 달성하는가?
• RQ5 알고리즘의 실행 시간은 차원 d와 노이즈 매개변수 α, β에 따라 어떻게 변화하는가?

주요 결과

• 알고리즘은 무한대의 비볼록 노이즈 하에서도 다항시간 내에 F(ˆx) − F(x*) ≤ ˆε 를 만족하는 근사 최소화점 ˆx를 찾는다.
• 시뮬레이티드 앤날링을 통해 온도를 점차 낮춤으로써 빠른 혼합과 전역 최소화점 주변 집중을 동시에 확보한다.
• 실행 시간은 d, R, λ, ˜λ, L, G, ζmax, bmax, log(1/δ), 그리고 α, β, log(R / min(εD, r'))를 포함하는 항과 다항식으로 표현된다.
• 스무딩 함수 ˜fσ는 곱셈 노이즈 수준 2α와 덧셈 노이즈 수준 2β로 F를 근사하며, 이는 이론적 분석을 가능하게 한다.
• 확률적 경계와 농도 부등식을 사용하여 알고리즘의 수렴성을 증명하였으며, 출력 값이 진짜 최소화점 주변의 원하는 반경 내에 확률 1/3 이상으로 포함됨을 보였다.
• 이전의 덧셈 노이즈 결과(α=0)를 일반화하였으며, 더 일반적인 (α,β)-노이즈 모델에 대해 처음으로 다항시간 알고리즘을 제시하였다.