[論文レビュー] Hyperparameter Optimization of Deep Neural Networks Using Non-Probabilistic RBF Surrogate Model.

Ilija Ilievski, Taimoor Akhtar+2 more|arXiv (Cornell University)|Jul 28, 2016

Machine Learning and Data Classification参考文献 21被引用数 12

ひとこと要約

本稿では、深層ニューラルネットワークのハイパーパrameter最適化のための非確率的手法HORDを提案する。この手法は、検証誤差を近似するための径路基底関数（RBF）スラグレートモデルを用いる。ガウス過程のような確率的モデルに代えてRBFに基づくスラグレートを採用することで、HORDはSpearmint や TPE といったベイズ最適化手法を上回る性能を発揮し、高価な評価回数を減らしつつ、高次元および多数観測の設定においても効率的にスケーリングできる。

ABSTRACT

Recently, Bayesian optimization has been successfully applied for optimizing hyperparameters of deep neural networks, significantly outperforming the expert-set hyperparameter values. The methods approximate and minimize the validation error as a function of hyperparameter values through probabilistic models like Gaussian processes. However, probabilistic models that require a prior distribution of the errors may be not adequate for approximating very complex error functions of deep neural networks. In this work, we propose to employ radial basis function as the surrogate of the error functions for optimizing both continuous and integer hyperparameters. The proposed non-probabilistic algorithm, called Hyperparameter Optimization using RBF and DYCORS (HORD), searches the surrogate for the most promising hyperparameter values while providing a good balance between exploration and exploitation. Extensive evaluations demonstrate HORD significantly outperforms the well-established Bayesian optimization methods such as Spearmint and TPE, both in terms of finding a near optimal solution with fewer expensive function evaluations, and in terms of a final validation error. Further, HORD performs equally well in low- and high-dimensional hyperparameter spaces, and by avoiding expensive covariance computation can also scale to a high number of observations.

研究の動機と目的

• 深層ニューラルネットワークの複雑な誤差関数を近似する際、ガウス過程のような確率的モデルの限界を解消すること。
• 誤差分布の事前分布に依存しない非確率的代替手法を開発すること。
• 連続的および整数ハイパーパrameter空間の両方において、探索と活用のバランスを効果的にとること。
• 特に共分散計算のコストを低減させることで、大規模な観測に対して計算コストを削減し、最適化の効率を向上させること。
• 低次元および高次元のハイパーパrameter空間の両方で高い性能を発揮しつつ、精度を損なわないこと。

提案手法

• ハイパーパラメータ値の関数として検証誤差を近似するために、径路基底関数（RBF）をスラグレートモデルとして用いる。
• DYCORSアルゴリズムを用いて、RBFスラグレート空間内での有望なハイパーパラメータ設定の探索をガイドする。
• 誤差の事前分布の必要性を回避するため、確率的モデリングではなく決定的RBF補間を採用する。
• DYCORSアルゴリズムにおける信頼領域アプローチにより、適応的に新しい点をサンプリングすることで、探索と活用のバランスを図る。
• ガウス過程に基づく手法で一般的な高価な共分散行列計算を回避することで、効率的なスケーリングを実現する。
• 連続的および整数ハイパーパラメータを両方サポートすることで、実世界の深層学習のハイパーパラメータ探索に広く適用可能となる。

実験結果

リサーチクエスチョン

• RQ1 非確率的RBFスラグレートモデルは、深層ニューラルネットワークのハイパーパラメータチューニングにおいて、確率的ベイズ最適化手法を上回ることができるか？
• RQ2 提案されたHORD手法は、Spearmint や TPE といった最先端の手法と比較して、収束速度および最終的な検証誤差の点でどの程度の性能を示すか？
• RQ3 HORD手法は低次元および高次元のハイパーパラメータ空間の両方で強力な性能を維持するか？
• RQ4 RBFモデルが誤差分布の事前分布を含まないことで、複雑で非定常な誤差関数に対してどの程度のロバストネスが向上するか？
• RQ5 HORDフレームワークは、高価な計算コストを伴わずに、多数の観測に対して効率的にスケーリングできるか？

主な発見

• HORDは、Spearmint や TPE といったベイズ最適化手法を著しく上回り、高価な関数評価回数を減らしつつ、近似的に最適なハイパーパラメータ設定を効率的に発見できる。
• 複数のベンチマークデータセットおよび深層学習モデルにおいて、HORDはSpearmint や TPE よりも低い最終的な検証誤差を達成する。
• 低次元および高次元のハイパーパラメータ空間の両方で一貫した優れた性能を発揮し、次元数の変化に対してロバストであることが示された。
• 高価な共分散計算を回避することで、HORDは多数の観測に対しても効率的にスケーリングでき、大規模なハイパーパラメータ探索に適している。
• 非確率的RBFスラグレートモデルは、誤差分布の事前仮定を必要とせず、深層ニューラルネットワークの複雑で非線形な誤差関数を効果的に近似できる。
• HORDは探索と活用のバランスを強く維持しており、ハイパーパラメータ空間における効率的なグローバルサーチを可能にしている。