[論文レビュー] HyperNOMAD: Hyperparameter optimization of deep neural networks using mesh adaptive direct search

Dounia Lakhmiri, Sébastien Le Digabel+1 more|arXiv (Cornell University)|Jul 3, 2019

Machine Learning and Data Classification参考文献 55被引用数 10

ひとこと要約

HyperNOMADは、NOMADソフトウェア内でのメッシュ適応直接探索（MADS）アルゴリズムを用いて、勾配フリーのハイパーパramータ最適化フレームワークを深層ニューラルネットワークに導入する。このフレームワークは、分類変数も含むアーキテクチャ的および最適化ハイパーパramータを同時に最適化し、MNISTでは99.61%、CIFAR-10では92.54%の最先端のテスト精度を達成した。これは、複雑な探索空間で不適切な設定を頻発する場合でも、ベイズ最適化やランダムサーチを上回った。

ABSTRACT

The performance of deep neural networks is highly sensitive to the choice of the hyperparameters that define the structure of the network and the learning process. When facing a new application, tuning a deep neural network is a tedious and time consuming process that is often described as a "dark art". This explains the necessity of automating the calibration of these hyperparameters. Derivative-free optimization is a field that develops methods designed to optimize time consuming functions without relying on derivatives. This work introduces the HyperNOMAD package, an extension of the NOMAD software that applies the MADS algorithm [7] to simultaneously tune the hyperparameters responsible for both the architecture and the learning process of a deep neural network (DNN), and that allows for an important flexibility in the exploration of the search space by taking advantage of categorical variables. This new approach is tested on the MNIST and CIFAR-10 data sets and achieves results comparable to the current state of the art.

研究の動機と目的

• 深層ニューラルネットワークにおけるハイパーパramータチューニングプロセスを自動化すること。これは、その複雑さと時間的負荷の高さから「暗黙の芸術」とも呼ばれる。
• ニューラルネットワークアーキテクチャと最適化器設定を含む、混合整数および分類ハイパーパramータの最適化という課題に対処すること。
• 勾配情報に依存しない柔軟な、勾配フリーの最適化フレームワークを構築し、微分不能で非凸な探索空間を効果的に探索できること。
• 既存のハイパーパramータ最適化手法を改善し、高次元で組み合わせ的な探索空間においても妥当性と収束性を保証すること。

提案手法

• HyperNOMADはNOMADソフトウェアを拡張し、深層ニューラルネットワークのハイパーパramータ最適化にメッシュ適応直接探索（MADS）アルゴリズムを適用する。
• フレームワークは、ネットワーク構築、学習、検証、テストを統合したブラックボックス関数として、全体のトレーニングおよび評価パイプラインを扱う。
• 実数、整数、分類ハイパーパramータを含む混合変数最適化をサポートし、多様なネットワークアーキテクチャと学習戦略の探索を可能にする。
• MADSアルゴリズムはメッシュの細分化戦略を用い、構造的で直接的な探索の方法で試行点を生成・評価することで、段階的に解を改善する。
• 探索ステップを制約することで妥当性を保証し、畳み込み層でゼロサイズの特徴マップを生じさせるような不適切な設定を回避する。
• HyperNOMADはPyTorchおよびCaffeと統合可能で、他のハイパーパramータ最適化ツールとの比較や柔軟な展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配フリーの最適化フレームワークは、深層ニューラルネットワークのアーキテクチャとトレーニングハイパーパramータを同時に効果的にチューニングできるか？
• RQ2 ハイパーパラメータ最適化の観点で、HyperNOMADはベイズ最適化やランダムサーチと比べて収束速度と最終的なモデル精度で優れているか？
• RQ3 1回の最適化実行内で、分類ハイパーパラメータをどれだけ活用して多様なニューラルネットワークアーキテクチャを探索できるか？
• RQ4 MADSアルゴリズムは、制約付きの高次元で組み合わせ的なハイパーパラメータ空間において、探索中に妥当性をどのように維持しているか？
• RQ5 ランダムサーチやベイズ最適化が頻繁に不適切な設定を生成するような困難な状況において、HyperNOMADは既存手法を上回ることができるか？

主な発見

• MNISTデータセットでは、HyperNOMADは100回のブラックボックス評価後に99.61%のテスト精度を達成し、TPE（99.17%）を上回り、ランダムサーチは初期値から改善しなかった。
• CIFAR-10では初期値をデフォルトとして使用した場合、HyperNOMADは77.6%のテスト精度に到達し、TPE（64.12%）とランダムサーチ（初期値28.3%から改善なし）を大きく上回った。
• CIFAR-10でVGG-13アーキテクチャから初期化した場合、HyperNOMADは最終的なテスト精度を92.54%まで向上させたが、TPEおよびランダムサーチは改善せず、100回の評価のうちたった50件の妥当な構成しか生成できなかった。
• HyperNOMADは優れた妥当性制御を示し、全50回の評価点が有効だった。一方、TPEやランダムサーチは複数のハイパーパラメータの同時変更により、頻繁に不適切なアーキテクチャをサンプリングしていた。
• 両データセットにおいて、このフレームワークはすべてのベースラインを一貫して上回り、混合変数ハイパーパラメータ探索空間における頑健性と効率性を示した。
• 結果から、MADSに基づく直接探索は、制約が複雑で微分不能な目的関数を伴う状況において、深層学習のハイパーパラメータ最適化に極めて有効であることが示された。