[論文レビュー] Scalable Bayesian Optimization Using Deep Neural Networks

Jasper Snoek, Oren Rippel+7 more|arXiv (Cornell University)|Feb 19, 2015

Machine Learning and Data Classification参考文献 60被引用数 439

ひとこと要約

本稿では、関数の事後分布をモデル化するためにガウス過程の代わりに深層ニューラルネットワークを用いるスケーラブルなベイズ最適化手法であるDeep Networks for Global Optimization (DNGO)を提案する。ニューラルネットワークを用いた適応的基底関数回帰により、DNGOはデータサイズに線形にスケーリング可能であり、大規模並列ハイパーパramータチューニングを実現するとともに、CIFAR-10（6.37%の誤差）およびCIFAR-100（27.4%の誤差）で最先端の性能を達成し、最小限の逐次ステップで実現した。

ABSTRACT

Bayesian optimization is an effective methodology for the global optimization of functions with expensive evaluations. It relies on querying a distribution over functions defined by a relatively cheap surrogate model. An accurate model for this distribution over functions is critical to the effectiveness of the approach, and is typically fit using Gaussian processes (GPs). However, since GPs scale cubically with the number of observations, it has been challenging to handle objectives whose optimization requires many evaluations, and as such, massively parallelizing the optimization. In this work, we explore the use of neural networks as an alternative to GPs to model distributions over functions. We show that performing adaptive basis function regression with a neural network as the parametric form performs competitively with state-of-the-art GP-based approaches, but scales linearly with the number of data rather than cubically. This allows us to achieve a previously intractable degree of parallelism, which we apply to large scale hyperparameter optimization, rapidly finding competitive models on benchmark object recognition tasks using convolutional networks, and image caption generation using neural language models.

研究の動機と目的

• ベイズ最適化におけるガウス過程の立方時間計算スケーリングの問題を解決し、高評価回数のシナリオでのスケーラビリティを向上させること。
• 高価なガウス過程推論の代わりにスケーラブルなニューラルネットワークサーモンを用いることで、大規模並列ハイパーパramータ最適化を可能にすること。
• データ量に線形にスケーリングしながらも、不確実性の定量化と探索・活用のバランスを維持する手法を開発すること。
• 深層ニューラルネットワークのハイパーパラメータチューニングを含む大規模機械学習問題へのアプローチの有効性を実証すること。
• 最適化フレームワーク自体に問題固有のチューニングを必要としない、強力で一般化可能な最適化フレームワークを構築すること。

提案手法

• ベイズ最適化における関数の事後分布をモデル化する際、ガウス過程の事前分布を深層ニューラルネットワークに置き換える。
• ニューラルネットワークを用いて、ベイズ線形回帰のための適応的基底関数の集合を学習させ、効率的な関数近似を実現する。
• 確率的勾配降下法を用いてニューラルネットワークサーモンを訓練することで、新しい観測値が到着するたびにスケーラブルかつインクリメンタルな更新を可能にする。
• ニューラルネットワークの予測平均と分散に基づいて、標準的な獲得関数（例：期待改善）を用い、次の評価点を導く。
• モデルの不確実性推定を活用して、ガウス過程ベースの手法と同様に、探索と活用のバランスを取る。
• Intel Xeon Phiコプロセッサやハイパフォーマンスクラスタなどの並列計算リソースを活用して、評価を分散させることで、大規模なハイパーパラメータ探索に応用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、不確実性の定量化を維持したまま、ベイズ最適化におけるサーモンモデルとしてガウス過程に効果的に置き換え可能か？
• RQ2 提案されたDNGO手法は、関数評価回数に対して線形スケーリングを達成し、大規模並列最適化を可能にするか？
• RQ3 DNGOは、画像分類のような複雑なディープラーニングタスクにおいて、最先端の性能を達成するハイパーパラメータ設定を発見可能か？
• RQ4 大規模ベンチマークにおいて、DNGOの収束速度と最終的な解の品質は、ガウス過程ベースのベイズ最適化と比べてどの程度優れているか？
• RQ5 DNGOは、最適化フレームワーク自体の再チューニングを必要とせずに、さまざまな機械学習問題に一般化可能か？

主な発見

• DNGOは観測数に対して線形スケーリングを達成する一方で、標準的なガウス過程の立方スケーリングとは対照的であり、スケーラブルな最適化を可能にする。
• 本手法は、CIFAR-10でテスト誤差6.37%を達成する畳み込みニューラルネットワークの設定を効果的に発見し、最先端の性能に一致した。
• CIFAR-100では、DNGOがテスト誤差27.4%のモデルを発見し、ベースライン手法を著しく上回り、競争力のある結果を達成した。
• 本アプローチは、Intel Xeon Phiコプロセッサ上で40件のジョブを並列に実行する効率的で大規模な並列ハイパーパラメータチューニングを可能にした。
• DNGOで最適化されたハイパーパラメータを用いて、CIFAR-100データセット全体を350エポック分学習させた最終モデルは、テスト誤差27.4%を達成し、強力な一般化性能を示した。
• DNGOは、画像キャプション生成タスクにおいても競争力ある結果を達成し、Microsoft COCO 2014データセットで単一モデルでBLEUスコア25.1、アンサンブルで26.7を達成した。