[論文レビュー] Global optimization of Lipschitz functions

Cédric Malherbe, Nicolas Vayatis|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research参考文献 19被引用数 53

ひとこと要約

この論文は、未知の Lipschitz 関数を最適化するための逐次戦略を設計し、一貫性と minimax レートを証明し、理論的保証を備えた適応的および固定 Lipschitz 定数アルゴリズムを導入します。

ABSTRACT

The goal of the paper is to design sequential strategies which lead to efficient optimization of an unknown function under the only assumption that it has a finite Lipschitz constant. We first identify sufficient conditions for the consistency of generic sequential algorithms and formulate the expected minimax rate for their performance. We introduce and analyze a first algorithm called LIPO which assumes the Lipschitz constant to be known. Consistency, minimax rates for LIPO are proved, as well as fast rates under an additional Hölder like condition. An adaptive version of LIPO is also introduced for the more realistic setup where the Lipschitz constant is unknown and has to be estimated along with the optimization. Similar theoretical guarantees are shown to hold for the adaptive LIPO algorithm and a numerical assessment is provided at the end of the paper to illustrate the potential of this strategy with respect to state-of-the-art methods over typical benchmark problems for global optimization.

研究の動機と目的

• 未知の Lipschitz 定数を用いた高コスト評価下での未知関数の最適化問題を動機づける。
• Lipschitz 関数クラス上の任意の逐次最適化アルゴリズムで達成可能なことを特徴づける。
• 効率的な global 最適化のために既知の Lipschitz 定数を活用するアルゴリズム（LIPO）を開発・分析する。
• 未知 Lipschitz 環境へ拡張した LIPO の適応版（AdaLIPO）を導入し、オンラインで Lipschitz 定数を推定する。
• 理論的保証（一貫性、 minimax レート、 fast rates）と state-of-the-art メソッドに対する経験的デモンストレーションを提供する。

提案手法

• コンパクトな領域と Lipschitz 関数クラス Lip(k) による最適化フレームワークを定義する。
• LIPO を導入：X_t+1 を一様にサンプルし、以前に観測された値から導出された上限 UB_k,t(x) によって現在の最良値を改善できる場合のみ評価する。
• Lip(k) に対する LIPO の一貫性を証明し、最大周りの Decreasing rate 条件 κ において有限時間境界と高速レートを導出する。
• AdaLIPO へ拡張：メッシュグリッドを介して Lipschitz 定数を推定する適応スキームで、探索と活用を交互に行う。
• Piyavskii/DOO および Pure Random Search との比較を提供し、レートと定数の議論を含む。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適化の Lipschitz 関数クラス全体において、任意のアルゴリズムが達成し得る最小の性能は何か？
• RQ2 global Lipschitz の滑らかさを活用して収束速度を改善するための効率的な逐次戦略を設計できるか？
• RQ3 固定 Lipschitz 定数法（LIPO）はグローバルに滑らかな問題で minimax 最適性と指数的高速レートを達成できるか？
• RQ4 最適化中に Lipschitz 定数を学習しつつ保証を損なわない一貫した適応法（AdaLIPO）を開発できるか？
• RQ5 提案手法を Piyavskii、DOO、PURE RANDOM SEARCH など既存手法と理論的・経験的にどう比較できるか？

主な発見

• 論文は Lipschitz 関数クラスに対する逐次最適化の一貫性について必要十分条件を確立する。
• Lip(k) に対して収束の minimax レートは n^{-1/d} のオーダーであり、LIPO は標準条件の下で一致した上界を用いてこれを達成する。
• 最大周辺の Decreasing rate 条件 κ ≥ 1 の下で LIPO は高速レートを得、κ = 1 および κ > 1 の scenarios で指数減衰を含む。
• AdaLIPO は未知 Lipschitz 定数へ拡張し、同様の理論保証を保持し、関連する Lipschitz クラスの一貫した回復を示す。
• DOO および Piyavskii と比較すると、LIPO はグローバル滑らかさを活用して理論上 Pure Random Search を上回り、経験的にも有利な性能を示す。
• 結果には有限時間境界、一貫性の証明、および球体・線形・最大座標関数といった例を用いたレートの実証が含まれる。