[論文レビュー] Sequential search based on kriging: convergence analysis of some algorithms

Emmanuel Vázquez, Julien Bect|arXiv (Cornell University)|Nov 16, 2011

Metaheuristic Optimization Algorithms Research参考文献 6被引用数 13

ひとこと要約

本稿は、平均的誤差率に注目しながら、ベイジアン枠組み下での逐次クリギングベースの最適化および近似アルゴリズムの収束を分析する。グリーディな逐次設計戦略が、$\nu = \nu - d/2 > 0$ のもとで、最適な平均二乗誤差の減少率 $\mathcal{O}(n^{2\nu/d})$ を達成することを確立し、特にマテRN共分散仮定下で、適応的アルゴリズムが非適応的アルゴリズムよりも速い平均誤差の減少をもたらすことを示している。

ABSTRACT

Let $\FF$ be a set of real-valued functions on a set $\XX$ and let $S:\FF o \GG$ be an arbitrary mapping. We consider the problem of making inference about $S(f)$, with $f\in\FF$ unknown, from a finite set of pointwise evaluations of $f$. We are mainly interested in the problems of approximation and optimization. In this article, we make a brief review of results concerning average error bounds of Bayesian search methods that use a random process prior about $f$.

研究の動機と目的

• 関数近似およびグローバル最適化のための逐次クリギングベースのアルゴリズムの平均的性能を分析すること。
• 異なる戦略下での平均誤差減少率を比較することにより、ベイジアン最適化における適応性の利点を評価すること。
• 逐次設計下でのクリギング予測子の平均二乗誤差（MSE）の理論的境界を確立すること。
• 特にマテルンおよびホールダー連続共分散構造下での最適化における平均誤差の最適減少率を導出すること。
• グリーディな逐次設計戦略が、最悪ケースでは部分的に最適でないものの、平均的状況下で減少率の最適性を達成できることを示すこと。

提案手法

• 未知関数を、連続的かつ定常な共分散関数を持つゼロ平均ガウス過程の実現値としてモデル化する。
• クリギング（条件付き期待値）を予測子として用い、観測された関数値に基づく線形方程式系を解いてクリギング係数を導出する。
• クリギング予測子の平均二乗誤差（MSE）を $\sigma_n^2(x) = \mathsf{E}[(\xi(x) - \widehat{\xi}_n(x))^2]$ として定義し、推定の不確実性を測定する。
• 共分散関数に正則性仮定を適用し、そのフーリエ変換が $c_1(1+\|u\|^2)^{-s} \leq \tilde{\Phi}(u) \leq c_2(1+\|u\|^2)^{-s}$ を満たし、$s > d/2$ であることを要請する。
• グリーディな逐次設計戦略を提案：$x_{i+1} = \arg\max_{x \in \mathbb{X}} \sigma_n^2(x; x_1, \dots, x_i)$ とし、各ステップで事後分散を最大化する。
• Binevら（2010）の結果を応用し、このグリーディ戦略が多項式的減少率を保持することを証明し、MSEにおけるレート最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 逐次クリギングベースの最適化および近似アルゴリズムの平均的誤差減少率は何か？
• RQ2 非適応的戦略と比較して、適応的アルゴリズムのクリギングベース探索アルゴリズムの平均的性能に適応性が与える影響は何か？
• RQ3 グリーディな逐次設計戦略は、平均的状況下で平均二乗誤差の減少率を最適化できるか？
• RQ4 マテルンまたはホールダー連続共分散関数下での平均最適化誤差の最適減少率は何か？
• RQ5 最悪ケース分析を超えて、実務における適応的クリギングアルゴリズムの経験的成功の理論的裏付けは存在するか？

主な発見

• 与えられた正則性仮定下で、グリーディな逐次設計戦略 $x_{i+1} = \arg\max_x \sigma_n^2(x; x_1, \dots, x_i)$ は、$\nu = s - d/2 > 0$ のもとで、平均二乗誤差の減少率 $\mathcal{O}(n^{2\nu/d})$ を達成する。
• この減少率は、Binevら（2010）のグリーディアルゴリズムが多項式的減少率を保持することを拡張した結果により、平均的状況下で最適であることが示された。
• 最適化問題において、平均誤差 $\mathsf{E}[S(\xi) - \widehat{S}_n(\xi)]$ は、$\alpha$-ホールダー連続共分散下で、$\mathcal{O}(n^{-\alpha/(2d)}(\log n)^{1/2})$ の速度で減少する。ここで、マテルン過程では $\alpha = 2\nu$ である。
• 一般には、$\mathcal{O}(n^{-\nu/d}(\log n)^{1/2})$ の境界は鋭くない。例えば、ブラウン運動（$\alpha=1$）の非適応的最適レートは $n^{-1/2}$ であるのに対し、この境界はそれより遅いため、適応性が性能向上をもたらすことを示している。
• 適応的アルゴリズムの平均的誤差に関する理論的分析は依然として限定的であり、現在のところアルゴリズムの性能評価には数値シミュレーションが主な手段である。
• 包括的な理論的結果が不足しているにもかかわらず、本稿は適応的逐次クリギング戦略が非適応的戦略よりも速い平均誤差の減少を達成できることを確立し、実務的利用の正当性を裏付けている。