[論文レビュー] Global optimization via inverse distance weighting.

Alberto Bemporad|arXiv (Cornell University)|Jun 15, 2019

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本論文は、逆距離補間（IDW）と径数基底関数（RBF）を組み合わせて補間モデルを構築し、採択サンプリングをガイドする計算的に効率的なグローバル最適化アルゴリズムを提案する。ベンチマーク問題においてベイズ最適化と同等またはそれ以上の性能を達成しており、単純な制約のサポートと、オープンソースのMATLAB/Python実装を備えている。

ABSTRACT

Global optimization problems whose objective function is expensive to evaluate can be solved effectively by recursively fitting a surrogate function to function samples and minimizing an acquisition function to generate new samples. The acquisition step trades off between seeking for a new optimization vector where the surrogate is minimum (exploitation of the surrogate) and looking for regions of the feasible space that have not yet been visited and that may potentially contain better values of the objective function (exploration of the feasible space). This paper proposes a new global optimization algorithm that uses a combination of inverse distance weighting (IDW) and radial basis functions (RBF) to construct the acquisition function. Rather arbitrary constraints that are simple to evaluate can be easily taken into account by the approach. Compared to Bayesian optimization, the proposed algorithm is computationally lighter and, as we show in a set of benchmark global optimization and hyperparameter tuning problems, it has a very similar (and sometimes superior) performance. MATLAB and Python implementations of the proposed approach are available at http://cse.lab.imtlucca.it/~bemporad/idwgopt

研究の動機と目的

• 関数評価に時間がかかりすぎたりリソースを多く消費するコストの高い目的関数を扱うグローバル最適化の課題に対処すること。
• 計算コストを低減しつつ高い性能を維持するベイズ最適化の軽量代替手法を開発すること。
• 簡単で安価な制約を最適化プロセスに容易に統合できること。
• 研究および産業応用の分野で実用的かつ効率的なアルゴリズムを提供すること、例としてハイパーパramータチューニングや工学設計。

提案手法

• サンプリングされた点における関数値を補間するために逆距離補間（IDW）を用い、近いサンプルに高い影響を与えるようにする。
• IDWと径数基底関数（RBF）を組み合わせて、局所的およびグローバルな傾向を捉える滑らかな補間モデルを構築する。
• 探索（未訪問領域の標的化）と活用（補間モデルの最小化）のバランスを取る獲得関数を定義する。
• 獲得関数を最小化することで反復的に新しいサンプリング点を選択し、探索と活用の動的バランスを保証する。
• 候補選択時に直接制約を評価することで、補間モデルを変更せずに制約を組み込む。
• 補間モデルと獲得関数に従って、サンプリングの安定性と収束性を保つためのトラスト領域に類似した戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 IDWとRBFを用いた補間ベースの最適化手法が、グローバル最適化タスクにおいてベイズ最適化を上回るか、同等の性能を発揮できるか？
• RQ2 評価が簡単だが、実行可能領域を制限する可能性がある制約は、どのように処理されるか？
• RQ3 ベイズ最適化と比較して、提案手法の計算コストはどの程度低く保たれるか？
• RQ4 多様なベンチマーク問題およびハイパーパramータチューニングのシナリオにおいて、同手法が一貫した高い性能を維持できるか？

主な発見

• 提案されたIDW-RBFアルゴリズムは、さまざまなグローバル最適化ベンチマークにおいて、ベイズ最適化と同等またはそれ以上の性能を達成した。
• 特に高次元設定において、ハイパーパラメータチューニングタスクにおける収束速度と精度が優れており、同等または優れていることが示された。
• 確率的推論や周辺尤度最適化が不要なため、ベイズ最適化よりも計算負荷が低い。
• 評価が容易な制約は、補間モデルの構造を変更せずに、スムーズにサンプリングプロセスに統合できる。
• オープンソースのMATLABおよびPython実装により、再現性が確保され、研究および産業応用への実装が可能になった。
• IDW-RBF補間に基づく適切に設計された獲得関数により、強力な探索と活用のバランスを維持している。