[논문 리뷰] Escaping the Local Minima via Simulated Annealing: Optimization of Approximately Convex Functions

Alexandre Belloni, Tengyuan Liang외 2명|arXiv (Cornell University)|2015. 01. 28.

Markov Chains and Monte Carlo Methods참고 문헌 20인용 수 12

한 줄 요약

이 논문은 제로스오더 오ракูล 액세스만을 사용하여 약간의 볼록 함수를 최적화하기 위한 시뮬레이티드 어닐링 기반 방법을 제안한다. 히트-앤드-런 샘플링을 활용해 국소 최소값에서 벗어나며, 확률적 제로스오더 볼록 최적화의 오라클 복잡도를 $Ó^*(n^{7.5}ε^{-2})$로 달성한다. 이는 이전 작업을 향상시키며, 비볼록성과 불연속성에 대해서도 강건하다.

ABSTRACT

We consider the problem of optimizing an approximately convex function over a bounded convex set in $\mathbb{R}^n$ using only function evaluations. The problem is reduced to sampling from an \emph{approximately} log-concave distribution using the Hit-and-Run method, which is shown to have the same $\mathcal{O}^*$ complexity as sampling from log-concave distributions. In addition to extend the analysis for log-concave distributions to approximate log-concave distributions, the implementation of the 1-dimensional sampler of the Hit-and-Run walk requires new methods and analysis. The algorithm then is based on simulated annealing which does not relies on first order conditions which makes it essentially immune to local minima. We then apply the method to different motivating problems. In the context of zeroth order stochastic convex optimization, the proposed method produces an $ε$-minimizer after $\mathcal{O}^*(n^{7.5}ε^{-2})$ noisy function evaluations by inducing a $\mathcal{O}(ε/n)$-approximately log concave distribution. We also consider in detail the case when the "amount of non-convexity" decays towards the optimum of the function. Other applications of the method discussed in this work include private computation of empirical risk minimizers, two-stage stochastic programming, and approximate dynamic programming for online learning.

연구 동기 및 목표

• 기울기 정보가 없이도 국소 최소값에서 벗어나는 약간의 볼록 함수를 최적화할 수 있는 제로스오더 최적화 방법을 개발하는 것.
• 히트-앤드-런 샘플링 프레임워크를 약간의 로그-볼록 분포로 확장하여, 이상적인 볼록성 조건이 아닌 상황에서도 효율적인 샘플링과 최적화를 가능하게 하는 것.
• 확률적 제로스오더 최적화에서 정확도($\epsilon^{-2}$)와 차원($n^{7.5}$)에 대한 최적의 의존도를 확보하여 이전의 경계를 향상시키는 것.
• 노이즈가 있거나 근사적인 함수 평가가 이루어지는 상황에서 최적화에 대한 이론적 보장을 제공하여, 개인 정보 보호 계산과 온라인 학습에 관련된 내용을 다루는 것.
• 절단된 약간의 로그-볼록 분포에 대해 빠른 혼합 속도를 보이는 일변량 샘플러를 설계하여 히트-앤드-런 워크의 실용적 구현을 가능하게 하는 것.

제안 방법

• 제로스오더 오라클을 사용하여 약간의 볼록 함수의 최적화를 약간의 로그-볼록 분포에서의 샘플링으로 환원한다.
• 절단된 약간의 로그-볼록 분포에 대해 빠르게 혼합되는 새로운 1차원 샘플링 기법을 도입하여, 히트-앤드-런 워크의 효율적 구현을 가능하게 한다.
• 온도 스케줄을 점차 감소시키는 시뮬레이티드 어닐링을 적용하여, 비볼록성에도 불구하고 최소화자에 수렴할 수 있도록 한다.
• 볼록 집합 $\mathcal{K}$의 멤버십 오라클과 함수 평가 $F$를 사용하며, 기울기나 서브기울기 정보가 필요하지 않다.
• $\mathcal{O}^*(\sqrt{n})$개의 어닐링 단계를 거치며, 각 단계에서 총 변동 거리 오차 제어를 위해 $\mathcal{O}^*(n^3)$개의 샘플이 필요하다.
• empirical 분포와 목표 지브스 분포 사이의 총 변동 거리에 대한 이론적 경계를 확립하여, $\epsilon$-최소화자로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 기능 평가 외에 다른 정보가 없을 때, 시뮬레이티드 어닐링이 약간의 볼록 함수를 효과적으로 최적화할 수 있는가?
• RQ2 근사적인 기능 평가 하에서 제로스오더 확률적 볼록 최적화의 정보 이론적 복잡도는 무엇인가?
• RQ3 히트-앤드-런 샘플링은 약간의 로그-볼록 분포로 어떻게 확장될 수 있으며, 혼합 시간 보장을 유지할 수 있는가?
• RQ4 제로스오더 최적화에서 차원과 정확도에 대한 의존도를 기존 경계 이하로 낮출 수 있는가?
• RQ5 최소화점 근처에서 비볼록성이 점점 줄어드는 비볼록성의 영향이 기울기 없는 최적화 알고리즘의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 확률적 제로스오더 볼록 최적화에서 $\mathcal{O}^*(n^{7.5}\epsilon^{-2})$ 오라클 복잡도를 달성하며, $\epsilon$에 대한 최고의 알려진 의존도를 유지한다.
• 기울기 조건이나 기울기 정보에 의존하지 않고 기능 평가만을 사용하여 기대값 기반으로 $\epsilon$-최소화자를 생성한다.
• 약간의 로그-볼록 분포에 대한 히트-앤드-런 샘플러는 정확히 로그-볼록 분포에 대해 기존 결과를 확장하여 동일한 $\mathcal{O}^*$ 복잡도를 유지한다.
• 1차원 샘플링 서브루틴은 절단된 약간의 로그-볼록 분포에 대해 빠르게 혼합되며, 전체 알고리즘의 효율적 구현을 가능하게 한다.
• 이 알고리즘은 불연속성과 비볼록성에 대해 강건하며, 함수가 오직 $\mathcal{O}(\epsilon/n)$-약간의 볼록일 경우에도 오류가 $\mathcal{O}^*(n^{7.5}\epsilon^{-2})$ 이내로 제한된다.
• 최종 분포는 목표 지브스 분포와 $e\gamma$ 수준으로 가까워지며, $\gamma$는 복잡도에 로그적으로 영향을 미쳐 오라클 수에 최소한의 영향을 미친다.