[論文レビュー] Lower Bounds on the Worst-Case Complexity of Efficient Global Optimization

Wenjie Xu, Yuning Jiang+2 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿は、非ベイズ的・ノイズレス設定下での一般のカーネル関数に対する効率的グローバル最適化（EGO）の最悪ケースにおけるサンプル複雑度の統一的下界を確立する。再生核ヒルベルト空間（RKHS）のメトリックエントロピーと複雑度を結びつけることで、任意の決定的アルゴリズムがサブオプティマルギャップ $\epsilon$ を達成するには、$T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$ 回のクエリが必要であることを証明する。これは、二乗指数関数的およびマテرنカーネルにおける既知の上界にほぼ一致する。

ABSTRACT

Efficient global optimization is a widely used method for optimizing expensive black-box functions such as tuning hyperparameter, and designing new material, etc. Despite its popularity, less attention has been paid to analyzing the inherent hardness of the problem although, given its extensive use, it is important to understand the fundamental limits of efficient global optimization algorithms. In this paper, we study the worst-case complexity of the efficient global optimization problem and, in contrast to existing kernel-specific results, we derive a unified lower bound for the complexity of efficient global optimization in terms of the metric entropy of a ball in its corresponding reproducing kernel Hilbert space~(RKHS). Specifically, we show that if there exists a deterministic algorithm that achieves suboptimality gap smaller than $ε$ for any function $f\in S$ in $T$ function evaluations, it is necessary that $T$ is at least $Ω\left(\frac{\log\mathcal{N}(S(\mathcal{X}), 4ε,\|\cdot\|_\infty)}{\log(\frac{R}ε)} ight)$, where $\mathcal{N}(\cdot,\cdot,\cdot)$ is the covering number, $S$ is the ball centered at $0$ with radius $R$ in the RKHS and $S(\mathcal{X})$ is the restriction of $S$ over the feasible set $\mathcal{X}$. Moreover, we show that this lower bound nearly matches the upper bound attained by non-adaptive search algorithms for the commonly used squared exponential kernel and the Matérn kernel with a large smoothness parameter $ν$, up to a replacement of $d/2$ by $d$ and a logarithmic term $\log\frac{R}ε$. That is to say, our lower bound is nearly optimal for these kernels.

研究の動機と目的

• 効率的グローバル最適化（EGO）の根本的限界を、最悪ケースにおけるサンプル複雑度の観点から理解すること。
• 既存のカーネル特有の下界と、一般のカーネルに依存しない複雑度解析との間のギャップを埋めること。
• RKHSのメトリックエントロピーとEGO問題の本質的複雑度との間の関係を確立すること。
• 統計的ノイズの影響を除き、内在的複雑度を隔離するためにノイズレスで非ベイズ的設定を分析すること。
• 導出された下界が、滑らかさが高い場合の代表的なカーネル（SEおよびマテルン）における既知の上界にほぼ一致することを示すこと。

提案手法

• 任意の関数が半径 $R$ のRKHSのボール $S$ に属する場合に、サブオプティマルギャップ $\epsilon$ を達成するために必要な関数評価回数 $T$ の一般の下界を導出する。
• 関数空間の複雑度を測る指標として、被覆数 $\mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)$ を用いる。
• 情報理論的議論を用いて、任意の決定的アルゴリズムに対して $T$ が $\Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$ 以上でなければならないことを示す。
• この下界が、二乗指数関数的およびマテルンカーネルに対して非適応的探索アルゴリズムが達成する上界にほぼ一致することを確立する。
• 特定のカーネルに対してRKHSがソボレフ空間と等価であることを示す関数解析の結果を用い、被覆数の下界を導出する。
• スターリングの近似およびガウス積分の評価を用いて、カーネル行列近似の解析における誤差項を制御する。

実験結果

リサーチクエスチョン

• RQ1 一般のカーネル関数に対する効率的グローバル最適化の根本的最悪ケースにおけるサンプル複雑度は何か？
• RQ2 RKHSボールのメトリックエントロピーは、EGOアルゴリズムのクエリ複雑度とどのように関係するか？
• RQ3 カーネルクラスに依存しない、統一的な下界を導出できるか？
• RQ4 導出された下界は、代表的なカーネル（二乗指数関数的およびマテルン）における既存の上界とどの程度一致するか？
• RQ5 ノイズレス設定は、統計的ノイズの影響を除き、EGOの内在的複雑度を明らかにするか？

主な発見

• 本稿は、EGOの最悪ケースにおけるサンプル複雑度に対する一般の下界を確立する：$T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$、ここで $\mathcal{N}$ は定義域上のRKHSボールの被覆数である。
• 二乗指数関数的カーネルに対しては、非適応的アルゴリズムから得られる既知の上界とほぼ一致しており、$d$ ではなく $d/2$ の因子と対数項の差異を除いて一致する。
• 滑らかさパラメータ $\nu$ が大きいマテルンカーネルに対しては、下界が上界と対数因子の範囲で一致し、近似的最適性を示している。
• この下界はノイズレスで非ベイズ的設定下で導出されており、関数クラスの内在的複雑度を統計的ノイズの影響から分離している。
• 分析により、EGOの複雑度がRKHSのメトリックエントロピーに本質的に関係していることが示され、特定のカーネル構造に依存しない一般の複雑度測度が得られた。
• この結果は、SEおよびマテルンカーネルに対する既存のアルゴリズムが、最悪ケースにおけるサンプル複雑度の観点からほぼ最適であることを示唆しており、問題構造を変更しない限りさらなる改善は困難である。