[論文レビュー] Scalable Meta-Learning for Bayesian Optimization

Matthias Feurer, Benjamin Letham+1 more|arXiv (Cornell University)|Feb 6, 2018

Machine Learning and Data Classification参考文献 57被引用数 32

ひとこと要約

この論文では、過去の最適化実行で得られた結果を用いて、ガウス過程モデルのアンサンブルを構築することで、スケーラブルなメタラーニング手法を提示している。この手法は、現在のタスクにおける各モデルの一般化性能の推定値に基づいて重みを付けることで、単一モデルアプローチの計算上のボトル neck を回避し、ベンチマークおよび実世界のワークロードにおいて、近似的に最適な設定に到達するまでの速度を顕著に向上させている。

ABSTRACT

Bayesian optimization has become a standard technique for hyperparameter optimization, including data-intensive models such as deep neural networks that may take days or weeks to train. We consider the setting where previous optimization runs are available, and we wish to use their results to warm-start a new optimization run. We develop an ensemble model that can incorporate the results of past optimization runs, while avoiding the poor scaling that comes with putting all results into a single Gaussian process model. The ensemble combines models from past runs according to estimates of their generalization performance on the current optimization. Results from a large collection of hyperparameter optimization benchmark problems and from optimization of a production computer vision platform at Facebook show that the ensemble can substantially reduce the time it takes to obtain near-optimal configurations, and is useful for warm-starting expensive searches or running quick re-optimizations.

研究の動機と目的

• 深層ニューラルネットワークのようなデータ集約型モデルにおける、ハイパーパramータ最適化の遅さという課題に対処すること。
• 過去の実験から得た履歴結果を活用して、新しい最適化実行を効率的にウォームスタートさせること。
• すべての過去の結果を1つのガウス過程モデルに統合する際のスケーラビリティの低さを克服すること。
• 高コストな最適化設定において、近似的に最適なハイパーパramータ設定への収束速度を向上させること。
• 現在のタスクにおける期待性能に基づいて、過去のモデルを動的に重みづけする手法を開発すること。

提案手法

• 各過去の最適化実行で得られた結果を用いてトレーニングされたガウス過程モデルのアンサンブルを構築する。
• メタラーニング戦略を用いて、各過去モデルが現在の最適化タスクにおいてどの程度一般化性能を発揮するかを推定する。
• 各モデルの重みは、現在のタスクにおける推定性能に基づいて決定され、重み付き平均によりモデルを統合する。
• アンサンブルは、過去のデータを個々のモデルに分離することでモノリシックなモデリングを回避し、計算オーバーヘッドを低減する。
• 本手法は、新しい最適化実行のウォームスタートおよび構成変更後の迅速な再最適化を両方サポートする。
• 完全な再トレーニングを回避し、分散型のモデルコンポonentを活用することで、効率的なスケーリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 過去の最適化結果は、新しいベイズ最適化実行を加速するために効果的に活用可能か？
• RQ2 単一の統合モデルを用いる場合の計算コストを回避しながら、過去のモデルをどのように統合できるか？
• RQ3 現在のタスクにおける一般化性能の推定値に基づいて過去のモデルに重みを付けると、どのような影響が生じるか？
• RQ4 収束速度と解の質の観点から、本手法は標準的なベイズ最適化と比べてどのように異なるか？
• RQ5 多数の過去の最適化実行に対して、性能を維持したままスケーリング可能か？

主な発見

• アンサンブル手法は、ベンチマーク問題において、近似的に最適なハイパーパramータ設定に到達するまでの評価回数を顕著に削減した。
• 特に過去の実行結果からウォームスタートする場合、標準的なベイズ最適化よりも収束が速くなった。
• 過去の実行回数の増加に伴って効率的にスケーリングされ、単一モデルアプローチで見られる2次関数的な計算量の増加を回避した。
• Facebookの本番用コンピュータビジョンプラットフォームにおける実験では、ハイパーパramータチューニングにおける時間の節約が明確に観察された。
• 過去の実行が現在の最適化タスクと関連している場合、モデルの重み付けによって性能向上が顕著に現れた。
• 単純な過去モデルの平均化よりも、本手法が優れており、性能に基づいた重み付けの有効性が示された。