[논문 리뷰] Faster Convex Optimization: Simulated Annealing with an Efficient Universal Barrier

Jacob Abernethy, Elad Hazan|arXiv (Cornell University)|2015. 07. 09.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 엔트로픽 보편 장벽을 사용하여 시뮬레이티드 어닐링과 내부점 방법 간의 기본적인 등가성을 확립함으로써, 멤버십 오라클을 통한 볼록 최적화를 위한 더 빠른 랜덤화 알고리즘을 가능하게 한다. 네스테로프와 네미로브스키의 중심경로 프레임워크를 활용함으로써 저자들은 런타임을 Õ(√ν n⁴)으로 향상시켰으며, 이는 특히 정준형 볼록집합(예: 정준형 볼록집합)에서 기존 최상의 성능인 Õ(n⁴.⁵)보다 √n 요소를 개선한다. 특히, 반정방형 프로그래밍에서는 ν = n이지만 n²가 아니라, 이에 따라 상당한 성능 향상이 이루어진다.

ABSTRACT

This paper explores a surprising equivalence between two seemingly-distinct convex optimization methods. We show that simulated annealing, a well-studied random walk algorithms, is directly equivalent, in a certain sense, to the central path interior point algorithm for the the entropic universal barrier function. This connection exhibits several benefits. First, we are able improve the state of the art time complexity for convex optimization under the membership oracle model. We improve the analysis of the randomized algorithm of Kalai and Vempala by utilizing tools developed by Nesterov and Nemirovskii that underly the central path following interior point algorithm. We are able to tighten the temperature schedule for simulated annealing which gives an improved running time, reducing by square root of the dimension in certain instances. Second, we get an efficient randomized interior point method with an efficiently computable universal barrier for any convex set described by a membership oracle. Previously, efficiently computable barriers were known only for particular convex sets.

연구 동기 및 목표

• 볼록 최적화에서 시뮬레이티드 어닐링과 내부점 방법 간의 이론적 등가성을 확립하는 것.
• 멤버십 오라클을 통해 접근 가능한 임의의 볼록집합에 대해 효율적으로 계산 가능한 보편 장벽을 갖춘 랜덤화 내부점 방법을 개발하는 것.
• 멤버십 오라클 모델에서 볼록 최적화 알고리즘의 런타임을 향상시키기 위해 시뮬레이티드 어닐링의 온도 스케줄을 개선하는 것.
• 비선형성 장벽의 특성 파라미터 ν ≤ n(1+o(1))을 갖는다.

제안 방법

• 온도가 감소함에 따라 시뮬레이티드 어닐링의 분포 평균으로서의 열경로를 정의하고, 이가 엔트로픽 보편 장벽을 사용하는 내부점 방법의 중심경로와 정확히 일치함을 보여준다.
• 네스테로프와 네미로브스키의 중심경로 프레임워크 도구를 활용하여 시뮬레이티드 어닐링의 온도 스케줄을 분석하고 강화한다.
• 이중 코너에서 로그-파트리션 함수의 프레체르 쌍대성에 기반한 엔트로픽 장벽으로서, 임의의 볼록집합에 대해 효율적으로 계산 가능한 보편 장벽을 구성한다.
• 엔트로픽 장벽이 파라미터 ν ≤ n(1+o(1))을 갖는 자가일관성 장벽임을 보이며, 비선형성 장벽의 주요 코너(예: 비음성 직각 및 로렌츠 코너)에 대해 알려진 최적 장벽과 상수 요소 수준에서 일치함을 보여준다.
• 엔트로픽 장벽을 사용하는 중심경로 추적 방법이 시뮬레이티드 어닐링의 1차 근사임을 증명함으로써, 두 방법 간의 공식적인 연결을 수립한다.
• 개선된 온도 스케줄을 적용하여 새로운 랜덤화 알고리즘을 유도하고, 이로 인해 Õ(√ν n⁴)의 런타임을 달성함으로써 이전의 Õ(n⁴.⁵) 보다 향상된 성능을 확보한다.

실험 결과

연구 질문

• RQ1 볼록 최적화에서 시뮬레이티드 어닐링과 내부점 방법 간에 근본적인 등가성이 존재하는가?
• RQ2 멤버십 오라클 하에서 엔트로픽 장벽이 임의의 볼록집합에 대해 효율적으로 계산 가능한 보편 장벽으로 사용될 수 있는가?
• RQ3 내부점 이론을 활용하여 시뮬레이티드 어닐링의 온도 스케줄을 개선함으로써 수렴 속도를 높일 수 있는가?
• RQ4 엔트로픽 장벽의 자가일관성 파라미터 ν는 얼마이며, 주요 볼록집합의 알려진 최적 장벽과 비교해 볼 때 어떻게 되는가?
• RQ5 개선된 어닐링 스케줄이 멤버십 오라클 모델에서 증명 가능한 더 빠른 런타임을 제공하는가?

주요 결과

• 시뮬레이티드 어닐링의 열경로는 엔트로픽 보편 장벽을 사용하는 내부점 방법의 중심경로와 정확히 일치함을 보이며, 이는 두 방법 간의 깊은 등가성을 확립한다.
• 엔트로픽 장벽은 파라미터 ν ≤ n(1+o(1))을 갖는 자가일관성 장벽이며, 이중 코너에서 로그-파트리션 함수의 프레체르 쌍대성에 의해 효율적으로 계산 가능하다.
• 양의 정방형 코너의 경우, 엔트로픽 장벽은 기존의 표준 로그-행렬식 장벽의 장벽 파라미터를 n(n+1)/2에서 n으로 줄여, 곱셈적 개선 요소 (n+1)/2를 달성한다.
• 시뮬레이티드 어닐링에 대한 새로운 온도 스케줄은 Õ(√ν n⁴)의 런타임을 달성하며, 이는 이전의 최상의 성능 Õ(n⁴.⁵)을 √(n/ν) 요소만큼 향상시킨다.
• Rⁿ×ⁿ에서의 정준형 프로그래밍에서는 ν = n이지만 n²가 아니므로, 이는 n 요소의 개선을 가져오며, 실용적인 성능 향상이 뚜렷하다.
• 이 방법은 장벽 함수의 명시적 접근이 필요 없으며, 장벽 함수는 분석 과정에서만 나타나므로, 멤버십 쿼리만으로도 실용적인 구현이 가능하다.