[論文レビュー] Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior

P. P. Murugan|arXiv (Cornell University)|Dec 19, 2017

Machine Learning and Data Classification参考文献 17被引用数 32

ひとこと要約

この論文は、深層畳み込みニューラルネットワークにおけるハイパーパrameterの効率的チューニングを実現するため、ガウス過程を用いたベイズ最適化フレームワークを提示する。目的関数を確率的GP事前分布としてモデル化し、期待改善などの獲得関数を用いることで、探索と活用のバランスを図り、グリッドサーチやランダムサーチよりも少ない評価回数で最適なハイパーパrameterを特定する。

ABSTRACT

Convolutional Neural Network is known as ConvNet have been extensively used in many complex machine learning tasks. However, hyperparameters optimization is one of a crucial step in developing ConvNet architectures, since the accuracy and performance are reliant on the hyperparameters. This multilayered architecture parameterized by a set of hyperparameters such as the number of convolutional layers, number of fully connected dense layers & neurons, the probability of dropout implementation, learning rate. Hence the searching the hyperparameter over the hyperparameter space are highly difficult to build such complex hierarchical architecture. Many methods have been proposed over the decade to explore the hyperparameter space and find the optimum set of hyperparameter values. Reportedly, Gird search and Random search are said to be inefficient and extremely expensive, due to a large number of hyperparameters of the architecture. Hence, Sequential model-based Bayesian Optimization is a promising alternative technique to address the extreme of the unknown cost function. The recent study on Bayesian Optimization by Snoek in nine convolutional network parameters is achieved the lowerest error report in the CIFAR-10 benchmark. This article is intended to provide the overview of the mathematical concept behind the Bayesian Optimization over a Gaussian prior.

研究の動機と目的

• 高次元のハイパーパrameter空間におけるグリッドサーチやランダムサーチの非効率性を解消すること。
• 深層畳み込みニューラルネットワークにおけるハイパーパラメータチューニングのための原理的で整合性のあるベイズ最適化アプローチを開発すること。
• ガウス過程に基づくベイズ最適化の包括的な理論的基盤を提供すること。
• ブラックボックスハイパーパラメータチューニングにおける探索と活用の有効なトレードオフを可能にすること。

提案手法

• 未知の目的関数に対する不確実性をモデル化するため、ガウス過程（GP）を事前分布として用いる。
• 各評価後に事後分布を更新する確率的スラムモデルを採用する。
• 期待改善などの獲得関数を用いて、探索と活用のバランスを取る。
• 獲得関数を最大化することで、次に評価するハイパーパラメータ設定を選択する。
• 平方指数などのカーネル関数を用いて、GPの共分散と滑らかさを定義する。
• 逐次最適化を適用：繰り返し評価を行い、事後分布を更新し、探索を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いたベイズ最適化は、ハイパーパラメータチューニングにおいてなぜグリッドサーチやランダムサーチを凌駕するのか？
• RQ2 GPベースの最適化における期待改善獲得関数の背後にある数学的定式化は何か？
• RQ3 ベイズ最適化において、探索と活用のトレードオフはどのように形式化され、制御されるのか？
• RQ4 GP事前分布は、目的関数の不確実性をどのようにモデル化する役割を果たすのか？
• RQ5 この手法は、深層学習における高次元のハイパーパラメータ空間にもスケーラブルに適用可能か？

主な発見

• グリッドサーチやランダムサーチと比較して、GP事前分布を用いたベイズ最適化は、最適なハイパーパラメータに到達するための評価回数を顕著に削減する。
• 期待改善獲得関数は、不確実性の高い領域を探索するのと、高い予測性能領域を活用するのとの間で原理的で整合性のあるトレードオフを提供する。
• Snoekらの先行研究で示されたように、CIFAR-10などのベンチマークタスクにおいて、最先端の性能を達成する。
• GP事前分布の使用により、高価なブラックボックス設定における信頼性の高い最適化に不可欠な、適切にキャリブレーションされた不確実性推定が可能になる。
• 数百のハイパーパラメータを含む複雑なアーキテクチャに対しても、スケーラブルで効果的なフレームワークである。
• 理論的定式化により、最適化効率を向上させるための1ステップおよび複数ステップ先読み戦略の両方が可能である。