[論文レビュー] DVOLVER: Efficient Pareto-Optimal Neural Network Architecture Search

Michel Guillaume, Mohammed Amine Alaoui+3 more|arXiv (Cornell University)|Feb 5, 2019

Advanced Neural Network Applications参考文献 17被引用数 11

ひとこと要約

DVOLVERは、モバイルデバイスにおける精度とFLOPSの両方を最適化する、パラメータの集合に基づく進化的アルゴリズムを提案する。最先端のトレードオフを達成し、MobileNetV2より0.28%高い75.28%のImageNet Top-1精度を達成しながら、NASNet-A mobileより8%少ないFLOPSを実現した。

ABSTRACT

Automatic search of neural network architectures is a standing research topic. In addition to the fact that it presents a faster alternative to hand-designed architectures, it can improve their efficiency and for instance generate Convolutional Neural Networks (CNN) adapted for mobile devices. In this paper, we present a multi-objective neural architecture search method to find a family of CNN models with the best accuracy and computational resources tradeoffs, in a search space inspired by the state-of-the-art findings in neural search. Our work, called Dvolver, evolves a population of architectures and iteratively improves an approximation of the optimal Pareto front. Applying Dvolver on the model accuracy and on the number of floating points operations as objective functions, we are able to find, in only 2.5 days, a set of competitive mobile models on ImageNet. Amongst these models one architecture has the same Top-1 accuracy on ImageNet as NASNet-A mobile with 8% less floating point operations and another one has a Top-1 accuracy of 75.28% on ImageNet exceeding by 0.28% the best MobileNetV2 model for the same computational resources.

研究の動機と目的

• 精度と計算効率の両方を最適化することで、モバイルデバイス向けに効率的なニューラルアーキテクチャを設計する課題に対処すること。
• 推論速度やFLOPSを犠牲にして精度を優先する単一目的のNAS手法の限界を克服すること。
• 大規模な探索空間を効率的に探索できるが、性能を損なわないスケーラブルなマルチ目的探索フレームワークを開発すること。
• プロキシデータセット（CIFAR-10）を用いてImageNet上で検証することにより、大規模なタスクへの一般化性を維持すること。
• 先行の最先端手法よりも計算コストを低減し、完全なパラメータ最適化フロントの近似をより速く達成すること。

提案手法

• NSGA-IIに基づくマルチ目的進化的アルゴリズムを用い、世代を重ねてニューラルアーキテクチャの集合を進化させる。
• NASNetをインspireした探索空間を採用し、再利用可能なセル構造と、深さ、幅、活性化関数のハイパーパrameterを備える。
• 2つの目的を最適化する：CIFAR-10でのバリデーション精度と、推論における総FLOPS（浮動小数点演算数）。
• CIFAR-10での訓練中に早期停止を適用し、初期段階の性能順序が最終的な精度と相関していると仮定することで、探索を高速化する。
• パラメータ最適化フロントへの収束を向上させるために、高精度と低FLOPSの両方のアーキテクチャを含む多様なアーキテクチャの集合を維持する。
• ImageNetでの完全な訓練を回避するため、CIFAR-10でのサーヴィレート評価を用いることで、計算コストを削減しながらImageNetへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチ目的進化的アルゴリズムは、精度とFLOPSの両方をバランスさせたパラメータ最適化フロントを、効率的に発見できるか？
• RQ2 プロキシデータセット（CIFAR-10）を用いた初期評価は、ImageNetへの移行時にアーキテクチャの順序付けを保持できるか？
• RQ3 本手法は、NASNet-A や MobileNetV2 といった既存のモバイルアーキテクチャよりも、精度-FLOPSのトレードオフにおいて優れているか？
• RQ4 単一目的のNAS手法（例：PNAS や NASNet）と比較して、集合ベースのアプローチは、効率性と性能の両面で優れているか？
• RQ5 集合内における多様な個体間の相互作用が、探索効率と収束性をどの程度向上させるか？

主な発見

• DVOLVERは、同じFLOPSでMobileNetV2の最良設定より0.28%高い75.28%のImageNet Top-1精度を達成するアーキテクチャを発見した。
• あるアーキテクチャは、NASNet-A mobileと同等のTop-1精度を達成したが、FLOPSを8%削減し、より高い効率性を示した。
• 本手法は50 GPU日で完全なパラメータ最適化フロントの近似を達成し、より大きな探索空間（$10^{20}$ 対 $10^{12}$）を考慮した場合、PNASより3倍速かった。
• 進化的な集合アプローチにより、速度最適化を実施しても精度を損なわず、探索空間を効率的に探索できた。
• 特に計算リソースが限られた低性能デバイスにおいて、本手法はNASNet や MobileNetV2 を精度-FLOPSのトレードオフにおいて上回った。
• CIFAR-10での早期停止により、性能順序の保持が十分に達成されたが、選択のばらつきのリスクは若干存在した。