[論文レビュー] Automatic Model Selection for Neural Networks

David Laredo, Yulin Qin+2 more|arXiv (Cornell University)|May 15, 2019

Machine Learning and Data Classification参考文献 37被引用数 9

ひとこと要約

本稿では、独自のリストベースのゲノタイプエンコーディング、カスタム交差/変異演算子、および精度とモデル複雑度のバランスを取るフィットネス関数を用いて、ニューラルネットワークアーキテクチャとハイパーパrameterの自動探索を実現する、自動モデル選択（AMS）という進化的アルゴリズムを提案する。AMSは、標準的なハードウェア上で5分未満で高性能でコンactなモデルを効率的に特定でき、ベンチマークデータセットにおいて手作業で設計されたベースラインを上回り、分散実行もサポートする。

ABSTRACT

Neural networks and deep learning are changing the way that artificial intelligence is being done. Efficiently choosing a suitable network architecture and fine-tune its hyper-parameters for a specific dataset is a time-consuming task given the staggering number of possible alternatives. In this paper, we address the problem of model selection by means of a fully automated framework for efficiently selecting a neural network model for a given task: classification or regression. The algorithm, named Automatic Model Selection, is a modified micro-genetic algorithm that automatically and efficiently finds the most suitable neural network model for a given dataset. The main contributions of this method are a simple list based encoding for neural networks as genotypes in an evolutionary algorithm, new crossover, and mutation operators, the introduction of a fitness function that considers both, the accuracy of the model and its complexity and a method to measure the similarity between two neural networks. AMS is evaluated on two different datasets. By comparing some models obtained with AMS to state-of-the-art models for each dataset we show that AMS can automatically find efficient neural network models. Furthermore, AMS is computationally efficient and can make use of distributed computing paradigms to further boost its performance.

研究の動機と目的

• 非エキスパートユーザー向けに、手作業で行う必要があり、時間がかかるニューラルネットワークアーキテクチャとハイパーパrameter選択の課題に対処すること。
• モデルアーキテクチャとハイパーパrameterを同時に探索できる、完全に自動化されスケーラブルなフレームワークを開発すること。
• メモリ制限のあるシステムへのデプロイを可能にするために、モデルのパフォーマンスと複雑度のバランスを取ること。
• より速い収束を実現するため、検索プロセスの効率的で分散実行可能な実装を可能にすること。
• 機械学習の深い専門知識がなくても、即座に競争力のあるニューラルネットワークモデルを入手できる、オール・オール・オブ・ザ・ボックスのソリューションを提供すること。

提案手法

• ニューラルネットワークを層の種類とハイパーパramータの単純なリストとしてエンコードすることで、効率的な進化的計算を可能にする。
• 有効で構造的に整合性のあるニューラルネットワークアーキテクチャを生成できる、特殊な交差および変異演算子を設計する。
• バリデーションセットでのモデル精度とパラメータ数としてのアーキテクチャの複雑度の両方を最適化する複合フィットネス関数を定義する。
• 多様性の維持と進化的安定性を支援するため、ニューラルネットワーク間の類似度メトリクスを導入する。
• フィットネス評価の高速化と計算コストの削減を図るため、部分的トレーニング戦略を実装する。
• Ray や Spark などのフレームワークとの統合により、並列および分散実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、ニューラルネットワークアーキテクチャとハイパーパラメータの高次元的かつ階層的な空間を、効率的に探索できるか？
• RQ2 手動による干渉なしに、モデルの精度と複雑度をどれだけうまくバランスできるか？
• RQ3 提案手法は、手作業やヒューリスティックな手法よりも、より速く、計算コストを抑えながら競争力のあるモデルを発見できるか？
• RQ4 分散コンピューティングフレームワークを用いることで、この手法はどの程度スケーラブルか？
• RQ5 ニューラルネットワーク間の類似度メトリクスは、検索プロセスの品質と多様性にどのように寄与するか？

主な発見

• AMSは、CMAPSSデータセットでテストRMSEが14.39のニューラルネットワークモデルを発見し、手作業で設計されたタイムウィンドウMLP（15.16 RMSE）とディープMLPアンサンブル（15.04 RMSE）を上回った。
• 手作業で設計された対象よりもパラメータ数が10倍以上多いモデルであっても、100万パラメータ未満のコンパクトなモデルを同定した。
• 中程度の性能を持つシステム（現代のCPUとGPU搭載）で、AMSは5分未満で競争力のあるモデルを発見でき、高い計算効率を示した。
• Ray や Spark などのフレームワークを用いた分散コンピューティングにより、性能を向上させられる強力なスケーラビリティを示した。
• CMAPSSデータセットでは、モデルサイズとパフォーマンスの間に明確な相関関係は認められず、サイズそのものがモデル品質の妥当な代理指標ではないことが示された。
• フィットネス関数は、精度と複雑度の両方を効果的にバランスさせ、メモリ制限のある環境へのデプロイに適した、正確でコンパクトなモデルを生成した。