[논문 리뷰] Global optimization of Lipschitz functions

Cédric Malherbe, Nicolas Vayatis|arXiv (Cornell University)|2017. 03. 07.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 53

한 줄 요약

이 논문은 미지의 Lipschitz 함수들을 최적화하기 위한 순차적 전략을 설계하고 일관성 및 minimax 속도를 증명하며, 이론적 보장과 함께 적응형 및 고정 Lipschitz 상수를 가진 알고리즘을 도입하고 이들을 비교한다.

ABSTRACT

The goal of the paper is to design sequential strategies which lead to efficient optimization of an unknown function under the only assumption that it has a finite Lipschitz constant. We first identify sufficient conditions for the consistency of generic sequential algorithms and formulate the expected minimax rate for their performance. We introduce and analyze a first algorithm called LIPO which assumes the Lipschitz constant to be known. Consistency, minimax rates for LIPO are proved, as well as fast rates under an additional Hölder like condition. An adaptive version of LIPO is also introduced for the more realistic setup where the Lipschitz constant is unknown and has to be estimated along with the optimization. Similar theoretical guarantees are shown to hold for the adaptive LIPO algorithm and a numerical assessment is provided at the end of the paper to illustrate the potential of this strategy with respect to state-of-the-art methods over typical benchmark problems for global optimization.

연구 동기 및 목표

• 비용이 많은 평가 비용 하에서 유한 Lipschitz 상수를 가진 미지 함수의 최적화를 동기화한다.
• Lipschitz 함수 클래스에서 임의의 순차 최적화 알고리즘으로 달성 가능한 것을 특징화한다.
• 지정된 Lipschitz 상수를 이용한 효율적인 글로벌 최적화를 위한 알고리즘(LIPO)을 개발하고 분석한다.
• 알려지지 않은 Lipschitz 설정에 LIPO를 확장하여 Lipschitz 상수를 온라인으로 추정하는 적응형 버전(AdaLIPO)을 도입한다.
• 일관성, minimax 속도, 빠른 속도에 대한 이론적 보장과 최신 방법들과의 실증적 시연을 제공한다.

제안 방법

• 조밀한 도메인과 Lip(k) Lipschitz 함수 클래스를 갖는 최적화 프레임워크를 정의한다.
• LIPO를 도입한다: X_t+1를 균일하게 샘플링하고 이전에 관찰된 값을 기반으로 도출된 상한 UB_k,t(x)가 현재 최적의 개선을 가져올 수 있는 경우에만 평가한다.
• Lip(k)에 대한 LIPO의 일관성을 증명하고, 감소율(κ) 조건 하에서 최적점 주위의 감소율에 따른 한정된 시간 경계와 빠른 속도를 도출한다.
• AdaLIPO로 확장한다: Lipschitz 상수를 온라인으로 추정하는 메쉬 그리드 기반의 적응형 방식으로 탐색과 활용 사이를 번갈아가며 수행한다.
• Piyavskii/DOO 및 Pure Random Search와의 비교를 제공하고 속도 및 상수에 대한 논의를 포함한다.

실험 결과

연구 질문

• RQ1 전역 최적화에서 Lipschitz 함수 클래스에 대해 임의의 알고리즘이 달성할 수 있는 최소 성능은 무엇인가?
• RQ2 전역 Lipschitz 매끄러움을 활용하여 수렴 속도를 향상시키는 효율적인 순차 전략은 어떻게 설계될 수 있는가?
• RQ3 고정 Lipschitz 상수 방법(LIPO)이 전역으로 매끄러운 문제에서 minimax 최적성 및 지수적 빠른 속도를 달성할 수 있는가?
• RQ4 최소한의 보장을 해치지 않으면서 최 Lipschitz 상수를 학습하는 일관된 적응 방법(AdaLIPO)을 개발할 수 있는가?
• RQ5 제안된 방법들이 Piyavskii, DOO, 및 PURE RANDOM SEARCH와 같은 기존 접근법과 이론적으로 그리고 경험적으로 어떻게 비교되는가?

주요 결과

• 논문은 Lipschitz 함수 클래스에 대한 순차 최적화의 일관성에 필요한 필요충분조건을 제시한다.
• Lip(k)에 대해 수렴의 minimax 속도는 O(n^{-1/d})의 차수이며, LIPO는 표준 조건하에서 이를 상응하는 상한으로 달성한다.
• 최댓값 주위에서 감소율(κ ≥ 1) 조건 하에서 LIPO는 빠른 속도를 얻으며, κ = 1 및 κ > 1의 시나리오에서 지수적 감소를 포함한다.
• AdaLIPO는 알려지지 않은 Lipschitz 상수에 대해 LIPO를 확장하고 비슷한 이론적 보장을 유지하며 관련 Lipschitz 클래스를 일관되게 복원한다.
• DOO 및 Piyavskii에 비해 LIPO는 글로벌 매끄러움을 활용하여 순수 무작위 탐색을 이론적으로 능가하고 실험적으로도 우수한 성능을 보인다.
• 결과에는 한정시간 경계, 일관성 증명, 그리고 속도를 보여주는 예시(구체, 선형, 최대 좌표 함수)들이 포함된다.