[論文レビュー] Neural Networks Designing Neural Networks: Multi-Objective Hyper-Parameter Optimization

Sean C. Smithson, Guang Yang+2 more|arXiv (Cornell University)|Nov 7, 2016

Neural Networks and Applications参考文献 20被引用数 18

ひとこと要約

本稿では、メタ学習されたニューラルネットワークを用いて性能と計算コストを予測する応答面モデルを用いた、多目的ニューラルアーキテクチャサーチ手法を提案する。この手法により、膨大なハイパーパramータースペースの効率的探索が可能となり、MNISTおよびCIFAR-10データセットにおいて、手動設計と比較して設計時間と実装コストを最大3倍まで短縮する。100回の反復でほぼパレート最適解に到達する。

ABSTRACT

Artificial neural networks have gone through a recent rise in popularity, achieving state-of-the-art results in various fields, including image classification, speech recognition, and automated control. Both the performance and computational complexity of such models are heavily dependant on the design of characteristic hyper-parameters (e.g., number of hidden layers, nodes per layer, or choice of activation functions), which have traditionally been optimized manually. With machine learning penetrating low-power mobile and embedded areas, the need to optimize not only for performance (accuracy), but also for implementation complexity, becomes paramount. In this work, we present a multi-objective design space exploration method that reduces the number of solution networks trained and evaluated through response surface modelling. Given spaces which can easily exceed 1020 solutions, manually designing a near-optimal architecture is unlikely as opportunities to reduce network complexity, while maintaining performance, may be overlooked. This problem is exacerbated by the fact that hyper-parameters which perform well on specific datasets may yield sub-par results on others, and must therefore be designed on a per-application basis. In our work, machine learning is leveraged by training an artificial neural network to predict the performance of future candidate networks. The method is evaluated on the MNIST and CIFAR-10 image datasets, optimizing for both recognition accuracy and computational complexity. Experimental results demonstrate that the proposed method can closely approximate the Pareto-optimal front, while only exploring a small fraction of the design space.

研究の動機と目的

• 低消費電力のモバイルおよび埋め込みシステム向けに、精度と計算複雑性の両方が重要となるニューラルネットワークの手動設計の課題に対処すること。
• 膨大で扱いきれない設計空間におけるハイパーパramーターシェーピングの自動化により、ニューラルネットワーク設計の時間とコストを削減すること。
• 全評価を必要としないが、パレート最適フロントを近似的に得られるスケーラブルでデータ効率の良い手法を開発すること。
• 自動設計が手動で設計されたネットワークと同等またはそれを上回る性能を達成するとともに、実装コストを大幅に削減できることを示すこと。

提案手法

• 応答面モデル（RSM）を、候補となるニューラルネットワークアーキテクチャの精度と計算コストを予測するためにニューラルネットワークで学習する。
• DSE（設計空間探索）アルゴリズムにより新しい評価を繰り返し取得し、有望な領域に焦点を当てることで不要なトレーニングを削減する。
• DSEアルゴリズムはRSMの予測結果を活用し、高い性能と低い複雑性を示すと予測されるアーキテクチャを優先的に探索する。
• MLPおよびCNNアーキテクチャを用いてMNISTおよびCIFAR-10で評価し、コストはMAC（乗加算演算）回数でモデル化する。
• RSMの予測誤差を監視し、モデルを動的に改善する。平均誤差は最終95反復で0.35%まで低下した。
• 膨大な設計空間（10^10件を超える解を含む）においても、最小限のトレーニング評価回数で多様なパレート最適フロントに収束する。

実験結果

リサーチクエスチョン

• RQ1 完全なトレーニングを伴わずに、機械学習モデルがニューラルネットワークアーキテクチャの性能と複雑性を効果的に予測できるか？
• RQ2 多目的設計空間探索手法は、高次元のハイパーパramータースペースにおいて、どの程度効率的にほぼ最適なパレートフロントに収束できるか？
• RQ3 自動ハイパーパramーターシェーピングは、精度と実装コストの観点から、手動設計をどの程度上回れるか？
• RQ4 反復的探索の過程で応答面モデルの精度はどのように変化するか。また、その変化が収束にどのような影響を及えるか？

主な発見

• MNIST MLPの設計空間において、100回の反復で真のパレートフロントからの平均偏差が5%（ADRS）にとどまった。
• CIFAR-10 CNNの設計空間では、文献に登録された手動設計ネットワークと同等の精度を維持しながら、実装コストを25%まで低減した。
• RSMの予測誤差は最終95反復で平均0.35%まで低下し、性能予測の高い信頼性を示した。
• MNIST CNNの設計は18時間で完了し、合計500回のネットワーク評価で、制限付きサブセットにおける全探索と同等の結果を得た。
• CIFAR-10 CNNの設計空間（10^10件を超える構成を含む）においてもスケーラビリティを示し、効率的な収束を達成した。
• 複雑で多目的な設計空間の高精度な自動探索を可能にしたことで、非再発開発コスト（NRE）と市場投入までの期間を削減した。