[論文レビュー] CARS: Continuous Evolution for Efficient Neural Architecture Search

Zhaohui Yang, Yunhe Wang+6 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Neural Network Applications参考文献 63被引用数 26

ひとこと要約

CARSは、パラメータ共有のSuperNetと非優位ソーティング（pNSGA-III）を活用した連続的進化型ニューラルアーキテクチャ探索フレームワークを提案する。これにより、モデルサイズと精度の両面で多様なアーキテクチャの集合を効率的に進化可能となる。SuperNetと集団を世代間で再利用することで、CARSはたった0.4 GPU日でImageNetにおいて最先端の性能を達成し、370万から510万パラメータのモデルを生成。これらのモデルは、精度と効率性の両面でSOTA手法を上回る性能を発揮する。

ABSTRACT

Searching techniques in most of existing neural architecture search (NAS) algorithms are mainly dominated by differentiable methods for the efficiency reason. In contrast, we develop an efficient continuous evolutionary approach for searching neural networks. Architectures in the population that share parameters within one SuperNet in the latest generation will be tuned over the training dataset with a few epochs. The searching in the next evolution generation will directly inherit both the SuperNet and the population, which accelerates the optimal network generation. The non-dominated sorting strategy is further applied to preserve only results on the Pareto front for accurately updating the SuperNet. Several neural networks with different model sizes and performances will be produced after the continuous search with only 0.4 GPU days. As a result, our framework provides a series of networks with the number of parameters ranging from 3.7M to 5.1M under mobile settings. These networks surpass those produced by the state-of-the-art methods on the benchmark ImageNet dataset.

研究の動機と目的

• 進化的NAS手法の高い計算コスト（各アーキテクチャを独立して訓練する必要があること）を是正すること。
• 強化学習や微分可能NASの非効率性を解消するため、進化的探索とパラメータ共有を組み合わせること。
• 複数のモデルサイズとレイテンシ制約の下で、高性能なアーキテクチャの多様な集合を生成すること。
• 過去の世代からの知識を再利用する連続的進化戦略を開発し、収束を加速すること。
• レイテンシをマルチオブジェクティブ最適化基準として組み込むことで、デバイスに最適化されたNASを実現すること。

提案手法

• 複数のセルとブロックを含むSuperNetを初期化し、すべての候補アーキテクチャ間でパラメータを共有する。
• 交差と変異という進化的操作を適用して、現在の集団から新たなアーキテクチャを生成する。
• 非優位ソーティング（pNSGA-III）により、精度とモデルサイズの両面で高品質なアーキテクチャを選択し、パレートフロント上の多様性を維持する。
• SuperNetは、選択されたパレート最適アーキテクチャのみを用いて更新され、世代間での知識保持が保証される。
• 進化中に劣悪な小さなアーキテクチャに陥らないようにする保護機構を導入する。
• 検索プロセスは連続的である：SuperNetと集団を反復的に次世代に引き継ぎ、再訓練を最小限に抑え、効率性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 連続的進化型NASフレームワークは、従来手法と比較して検索コストを低減しつつ、アーキテクチャの品質を維持または向上させることができるか？
• RQ2 SuperNetによるパラメータ共有は、多様性や性能を損なわせることなく、進化的NASの高速化にどの程度効果的か？
• RQ3 非優位ソーティング（pNSGA-III）を用いたマルチオブジェクティブ最適化により、モデルサイズと精度の両面で多様なパレートフロントのアーキテクチャを生成できるか？
• RQ4 検索段階でのデバイスに最適化されたレイテンシの統合は、最終的なモデル性能とデプロイ効率にどのような影響を与えるか？
• RQ5 提案手法は、モバイル制約下でImageNetに一般化しやすい移譲可能なアーキテクチャを生成できるか？

主な発見

• CARSは、370万パラメータで75.2％のTop-1精度を達成し、同等条件のPNASやDARTSを上回る最先端の性能を発揮する。
• 本手法は、370万～510万パラメータ、430～590MFLOPsのFLOPsを有する一連のモデルを生成し、すべて0.4 GPU日以内に完了する。
• CARS-Iは510万パラメータ、591MFLOPsで75.2％のTop-1精度を達成し、同じパラメータ数の条件下でPNASを1％上回る。
• CARS-Gは470万パラメータで74.2％のTop-1精度を達成し、同じパラメータ数のDARTSを0.9％上回る。
• CARSモデルのHUAWEI P30 Proにおけるレイテンシは82.9ms～100.6msの範囲にあり、同程度のレイテンシを持つNASNetやAmoebaNetの変種と比較して、より高い精度を発揮する。
• SuperNetの再利用を伴う連続的進化戦略により、検索コストが0.4 GPU日にまで低減され、AmoebaNetの3150 GPU日と比べて顕著に削減された。