[論文レビュー] Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters

Marius Lindauer, Matthias Feurer+3 more|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Data Classification参考文献 31被引用数 7

ひとこと要約

本稿では、ベイジアン最適化（BO）の内部ハイパーパrameterのチューニングが、人工関数、SVMのハイパーパrameterチューニング、ニューラルアーキテクチャサーチを含む多様なベンチマークにおいて、BOの任意時性能を顕著に向上させることを実証している。研究では、最適化されたBO設定が同様の問題に対して一般化できることを示しており、驚くべきことに、異なる問題ファミリーに対しても一般化が可能であることが判明した。特に、ガウス過程ベースのBOでは、カーネル選択と長さスケールの事前分布が最も影響力のあるハイパーパrameterであることが明らかになった。

ABSTRACT

Bayesian Optimization (BO) is a common approach for hyperparameter optimization (HPO) in automated machine learning. Although it is well-accepted that HPO is crucial to obtain well-performing machine learning models, tuning BO's own hyperparameters is often neglected. In this paper, we empirically study the impact of optimizing BO's own hyperparameters and the transferability of the found settings using a wide range of benchmarks, including artificial functions, HPO and HPO combined with neural architecture search. In particular, we show (i) that tuning can improve the any-time performance of different BO approaches, that optimized BO settings also perform well (ii) on similar problems and (iii) partially even on problems from other problem families, and (iv) which BO hyperparameters are most important.

研究の動機と目的

• ベイジアン最適化（BO）の内部ハイパーパrameterをチューニングすることで、ハイパーパラメータ最適化（HPO）の性能が向上するかを調査すること。
• 最適化されたBOハイパーパラメータが、類似した問題ファミリーおよび異なる問題ファミリーに一般化する能力を評価すること。
• 異なるベンチマークで性能に最も影響を与えるBOハイパーパラメータを同定すること。
• 限られた関数評価回数といった実用的制約下で、BOハイパーパラメータのメタ最適化の実現可能性を評価すること。

提案手法

• 著者らは、複数の関数ファミリーにわたり、ターゲットBOシステムのハイパーパラメータをチューニングするメタ最適化手法を用いた。
• 性能評価は、人工関数、SVMハイパーパラメータ最適化、および小規模なニューラルアーキテクチャサーチベンチマークで実施した。
• 計算コストを低減するために、文献に登録済みのHPOベンチマークを用いたサロゲートベースのアプローチを採用した。
• ハイパーパラメータをデフォルト設定から最適化済み設定へ段階的に変更することで、最も影響力のある要因を同定するアブレーションスタディを実施した。
• 予測モデルには、ランダムフォレスト（RF）、最尤推定を用いたガウス過程（GP-ML）、MAP推定を用いたガウス過程（GP-MAP）の3種類を用いた。
• 性能は、任意時レグRET（any-time regret）と、1つの関数を除いた場合の一般化性能を指標として評価した。

実験結果

リサーチクエスチョン

• RQ1 各関数に対して独立に最適化されたBOの内部ハイパーパラメータのチューニングが、性能に与える影響はどの程度か？
• RQ2 最適化済みのBO設定は、同じ問題ファミリーに属する新しい関数にどの程度一般化できるか？
• RQ3 最適化済みのBO設定は、異なる問題ファミリーに属する関数に対してもどの程度一般化できるか？
• RQ4 ターゲットBOのどのハイパーパラメータが最も重要であり、その最適設定はベンチマークファミリーごとにどのように変化するか？

主な発見

• BOの内部ハイパーパラメータをチューニングすることで、全テスト対象BOバージョンおよびベンチマークファミリーにおいて、一貫して任意時性能が向上した。
• 最適化済みのBO設定は、類似した問題に対して良好に一般化され、同じファミリーに属する新しい関数に対しても、しばしば性能向上が維持された。
• 驚くべきことに、異なる問題ファミリーでチューニングした場合、同じファミリーでチューニングした場合よりも高い性能が得られることがあり、クロスファミリー転送の可能性が示唆された。
• GPベースのBOでは、カーネルの選択（例：Matérnカーネル vs. RBFカーネル）および長さスケールの事前分布の境界が、最も影響力のあるハイパーパラメータであった。
• RFベースのBOでは、入れ子のランダムサンプリングの確率、関数値変換、インシデントシフト補正が重要な要因であった。
• 性能向上の大部分を占めるハイパーパラメータは、通常6つ未満の少数に限られ、すべてのハイパーパラメータをチューニングする必要がないことが示唆された。