[論文レビュー] Efficient Benchmarking of Algorithm Configuration Procedures via Model-Based Surrogates

Katharina Eggensperger, Marius Lindauer+3 more|arXiv (Cornell University)|Mar 30, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 3被引用数 4

ひとこと要約

本論文では、実世界の性能評価に高コストがかかる代わりに、過去のAC実行結果に基づいて学習された高速な回帰モデルを用いたモデルベースの代替ベンチマークを提案することで、アルゴリズム設定（AC）手順の効率的評価を実現する。代替ベンチマークは、元のハイパーパrameter空間と性能特性を保持しながら、評価コストを桁違いに削減し、高価なターゲットアルゴリズムの実行を必要とせずに、スケーラブルで再現可能なかつてのAC研究を可能にする。

ABSTRACT

The optimization of algorithm (hyper-)parameters is crucial for achieving peak performance across a wide range of domains, ranging from deep neural networks to solvers for hard combinatorial problems. The resulting algorithm configuration (AC) problem has attracted much attention from the machine learning community. However, the proper evaluation of new AC procedures is hindered by two key hurdles. First, AC benchmarks are hard to set up. Second and even more significantly, they are computationally expensive: a single run of an AC procedure involves many costly runs of the target algorithm whose performance is to be optimized in a given AC benchmark scenario. One common workaround is to optimize cheap-to-evaluate artificial benchmark functions (e.g., Branin) instead of actual algorithms; however, these have different properties than realistic AC problems. Here, we propose an alternative benchmarking approach that is similarly cheap to evaluate but much closer to the original AC problem: replacing expensive benchmarks by surrogate benchmarks constructed from AC benchmarks. These surrogate benchmarks approximate the response surface corresponding to true target algorithm performance using a regression model, and the original and surrogate benchmark share the same (hyper-)parameter space. In our experiments, we construct and evaluate surrogate benchmarks for hyperparameter optimization as well as for AC problems that involve performance optimization of solvers for hard combinatorial problems, drawing training data from the runs of existing AC procedures. We show that our surrogate benchmarks capture overall important characteristics of the AC scenarios, such as high- and low-performing regions, from which they were derived, while being much easier to use and orders of magnitude cheaper to evaluate.

研究の動機と目的

• アルゴリズム設定（AC）手順のベンチマーク化における高い計算コストと設定の複雑さに対処すること。
• ターゲットアルゴリズムやその実行環境へのアクセスがなくても、再現可能でスケーラブルな新しいAC手法の評価を可能にすること。
• 実際のAC問題の性能ランドスケープを正確に反映するが、評価にかかるコストが桁違いに低い代替ベンチマークの開発。
• AC研究における本物のベンチマークや人工的テスト関数の実用的で再利用可能な代替手段を提供すること。

提案手法

• 実際のターゲットアルゴリズムに適用されたAC手順の過去の実行結果に基づいて、経験的性能モデル（EPMs）を訓練することで、代替ベンチマークを構築する。
• 回帰モデルを用いて、ハイパーパrameter設定と問題インスタンスの組み合わせにおけるターゲットアルゴリズムの性能の応答面を近似する。
• 同じハイパーパrameter空間、インスタンスセット、および性能指標を維持することで、代替ベンチマークが元のACベンチマークと構文的に同等であることを保証する。
• 既存のAC手順の実行中に収集したデータを用いてEPMsを訓練することで、初期のオフライン段階を除けば、再利用可能でコスト効率の良いプロセスを実現する。
• AC手順の評価中に、ターゲットアルゴリズムへの高価な呼び出しの代わりに、訓練済みのEPMからの高速な予測を用いる。
• EPMsのトレーニングデータとして、既存のACベンチマークライブラリ（例：AClib, HPOlib）を活用する。

実験結果

リサーチクエスチョン

• RQ1 本物のAC実行結果に基づいて訓練された代替ベンチマークは、元のAC問題の性能特性を正確に再現できるか？
• RQ2 代替ベンチマークは、ハイパーパrameter空間における高性能・低性能領域といった、重要な特徴をどの程度保持しているか？
• RQ3 代替ベンチマークを用いることで、実際にターゲットアルゴリズムを実行する場合に比べて、どの程度の計算コストを削減できるか？
• RQ4 代替ベンチマークは、ハイパーパramータ最適化や組合せソルバーなど多様な分野において、信頼性があり再現可能な新しいAC手順の評価を可能にするか？

主な発見

• 代替ベンチマークは、元のAC問題の重要な性能特性（例：高性能・低性能領域）を高い忠実度で捉えている。
• 提案手法により、実際にターゲットアルゴリズムを実行する場合と比べて、評価コストを複数桁以上削減できる。
• 代替ベンチマークは再利用可能であり、高価なターゲットアルゴリズムの再実行を伴わずに、繰り返し新しいAC手順の評価に利用できる。
• 代替ベンチマークは構文的に元のベンチマークと同等であるため、既存のAC評価パイプラインとの互換性が保証される。
• 本手法により、元のターゲットアルゴリズムやその実行環境へのアクセスがなくても、効率的でスケーラブルかつ再現可能なAC研究が可能になる。