[論文レビュー] Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models

Jeroen van Hoof, Joaquin Vanschoren|arXiv (Cornell University)|Jan 6, 2021

Machine Learning and Data Classification参考文献 41被引用数 10

ひとこと要約

Hyperboostは、性能見積もりのための分位数回帰と、最近接観測構成へのマンハッタン距離を用いた探索を組み合わせた、勾配ブースティングを用いた新しいベイズ最適化手法を提案する。この手法は、分類問題の多様な設定においてSMACを上回る性能を示しており、勾配ブースティングの代理モデルが最先端のHPOシステムにおいてランダムフォレストの代替として効果的に機能できることを示している。

ABSTRACT

Bayesian Optimization is a popular tool for tuning algorithms in automatic machine learning (AutoML) systems. Current state-of-the-art methods leverage Random Forests or Gaussian processes to build a surrogate model that predicts algorithm performance given a certain set of hyperparameter settings. In this paper, we propose a new surrogate model based on gradient boosting, where we use quantile regression to provide optimistic estimates of the performance of an unobserved hyperparameter setting, and combine this with a distance metric between unobserved and observed hyperparameter settings to help regulate exploration. We demonstrate empirically that the new method is able to outperform some state-of-the art techniques across a reasonable sized set of classification problems.

研究の動機と目的

• 従来のランダムフォレストのような手法よりもスケーラブルで正確な代理モデルを、ベイズ最適化におけるハイパーパramータチューニングに開発すること。
• 高い予測性能を示すことで知られる勾配ブースティングを、従来ガウス過程やランダムフォレストに依存するベイズ最適化に適応させること。
• 効果的な探索と活用のトレードオフを実現するため、勾配ブースティングモデルからの不確実性推定を獲得する課題に対処すること。
• 分位数回帰と距離ベースの正則化を組み合わせることで、標準的なAutoMLベンチマーク問題における性能を向上させること。
• より強力な代理モデルを用いて、SMACやその他のBOベースのHPOツールに対する実用的な代替手段を提供すること。

提案手法

• 未観測のハイパーパramータ構成の性能を予測するために勾配ブースティング回帰を用い、従来のランダムフォレストのような代理モデルを置き換える。
• 90百分位数の分位数回帰を用いて、性能の楽観的見積もりを生成し、有望な構成の探索を促進する。
• 最近接の観測構成とのマンハッタン距離に基づく距離ボーナスを導入し、スパースな領域における探索を促進する。
• 楽観的予測と距離ボーナスを統合した1つの獲得関数を構築し、候補となる構成を順位付けする。
• 高次元空間における効率的な最近傍探索のため、kDツリー構築時に次元削減としてPCAを適用する。
• スパarsityに起因する不確実性をモデルとは独立して推定するハイブリッドアプローチを採用し、モデル依存の不確実性に依存しない。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングは、ハイパーパramータチューニングにおけるベイズ最適化の代理モデルとして効果的に適応可能か？
• RQ2 分位数回帰と距離ベースの探索を組み合わせることで、標準的な代理モデルと比較して最適化性能が向上するか？
• RQ3 標準的な分類ベンチマーク問題において、SMAC（最先端のHPOツール）と比較してHyperboostはどのように性能を発揮するか？
• RQ4 次元削減（例：PCA）は、高次元の構成空間における最近傍探索の効率と性能にどのような影響を与えるか？
• RQ5 勾配ブースティングの代理モデルは、収束速度と最終的な性能の面でランダムフォレストを上回ることができるか？

主な発見

• Hyperboostは、妥当なサイズの分類問題のセットにおいてSMACを上回り、優れた最適化性能を示している。
• 分位数回帰の使用により、有望な構成へ向かう探索を効果的に誘導する楽観的見積もりが得られている。
• 最近接の観測構成とのマンハッタン距離を組み込むことで、スパースな領域における探索が向上し、収束が促進された。
• PCAによる次元削減は、kDツリーの構築およびクエリ時間に顕著な短縮効果をもたらし、性能の低下はわずかであった。
• 本手法は、特に高次元および混合型ハイパーパramータ空間において、SMACに対するスケーラブルで正確な代替手段としての可能性を示している。
• 楽観的予測と距離ボーナスを統合した獲得関数は、ベースライン手法と比較して収束が早く、より優れた最終解が得られた。