[論文レビュー] Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization

Mikita Sazanovich, Anastasiya Nikolskaya+2 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning and Data Classification被引用数 6

ひとこと要約

この論文では、学習された探索空間の分割を用いて局所的ベイズ最適化を向上させる、新しいブラックボックス最適化アルゴリズムSPBOptを提示する。多タスクベイズ最適化を用いて局所的およびリモートの評価データを統合してハイパーパrameterを最適化することで、SPBOptはNeurIPS 2020 Black-Box Optimization Challengeで3位を達成し、最終ラウンドで最先端のベースラインであるTuRBOを上回った。

ABSTRACT

Black-box optimization is one of the vital tasks in machine learning, since it approximates real-world conditions, in that we do not always know all the properties of a given system, up to knowing almost nothing but the results. This paper describes our approach to solving the black-box optimization challenge at NeurIPS 2020 through learning search space partition for local Bayesian optimization. We describe the task of the challenge as well as our algorithm for low budget optimization that we named \ exttt{SPBOpt}. We optimize the hyper-parameters of our algorithm for the competition finals using multi-task Bayesian optimization on results from the first two evaluation settings. Our approach has ranked third in the competition finals.

研究の動機と目的

• 実世界の機械学習ハイパーパramータチューニングのシナリオにおける低予算ブラックボックス最適化を解決すること。
• 高次元で低予算な設定におけるベイズ最適化のサンプル効率とパフォーマンスを向上させること。
• 過去の観測に基づいて探索空間を分割することで、どこを探索すべきかを学習する手法を開発すること。
• 局所的およびリモートの評価データを統合したメタ最適化アプローチを用いて、SPBOpt自体のハイパーパラメータを最適化すること。
• 反復回数と予算の制約が厳しい条件下でも、多様なテストケース（合成的および実世界のML問題）において堅牢なパフォーマンスを達成すること。

提案手法

• SPBOptは、多様な初期点を生成するためにラテンハイパーボリュームサンプリングと比率ベースのサンプリングを組み合わせた初期サンプリングフェーズを実施する。
• 動的に学習された注目領域内で、ガウス過程のスラムモデルと期待改善（Expected Improvement）の獲得関数を用いた局所的ベイズ最適化を適用する。
• 履歴的なパフォーマンスに基づいて有望な部分領域を特定するために、サポートベクターマシン（SVM）を用いた探索空間の分割を学習する。
• 分割モデルは過去の評価結果に基づいて訓練され、反復的に更新されて探索領域を精緻化する。
• 初期化点、カーネルタイプ、正則化、減衰などのSPBOptのハイパーパラメータは、局所的およびリモートの評価設定を統合したマルチタスクベイズ最適化により最適化された。
• 最終的な候補設定は、評価実行間でのパフォーマンスに統計的有意性があることを保証するため、ウィルコクソン符号順位検定を用いて選定された。

実験結果

リサーチクエスチョン

• RQ1 学習された探索空間の分割は、低予算ブラックボックス最適化における局所的ベイズ最適化のサンプル効率とパフォーマンスを向上させることができるか？
• RQ2 局所的およびリモートの評価データを統合することで、最適化アルゴリズムのハイパーパラメータチューニングの堅牢性はどのように向上するか？
• RQ3 最適化アルゴリズム自体の設定をメタ最適化アプローチで行うことで、未観測のテストケースへの一般化性能が向上するか？
• RQ4 SPBOptは、TuRBO や hyperopt といった最先端のベースラインと比較して、最終的な目的関数値およびさまざまな評価設定における安定性においてどのように差をつけるか？
• RQ5 リモート評価サーバーへの過剰適合は、最終的なコンペティションパフォーマンスにどの程度影響を及ぼし、どのように緩和できるか？

主な発見

• SPBOptはNeurIPS 2020 Black-Box Optimization Challengeの最終ラウンドで92.509の最終スコアを達成し、全体で3位となった。
• 最高のベースラインであるTuRBOが最終ラウンドで88.921のスコアを記録したのに対し、SPBOptはそれを上回り、より優れた堅牢性を示した。
• SPBOptのすべての設定が局所評価において標準ベースラインを上回った。特に最良の設定（SPBOpt 2）は平均スコア98.898を達成した。
• リモート評価では、ほとんどの設定が平均97点以上を記録し、SPBOpt 5は97.505 ± 0.117を達成した。
• 最終選定はウィルコクソン符号順位検定を用いて統計的有意性を確認した結果に基づき、SPBOpt 2が他の設定よりも顕著に優れていた。
• リモート評価から最終評価へのパフォーマンス低下は、多くのアルゴリズムがリモートサーバーに過剰適合していることを示唆しており、SPBOptのメタチューニングアプローチが一般化性能を向上させた。