[論文レビュー] EcoNAS: Finding Proxies for Economical Neural Architecture Search

Dongzhan Zhou, Xinchi Zhou+5 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Neural Network Applications参考文献 35被引用数 10

ひとこと要約

EcoNASは、ランク整合性を維持しながら、計算量を削減した信頼性の高い設定を用いる階層的プロキシ戦略を提案することで、進化的ニューラルアーキテクチャ探索（NAS）を高速化する。有望なアーキテクチャにはより高価なプロキシを割り当て、不適切なものは早期に除外することで、EcoNASは探索時間を400倍短縮（8 vs. 3150 GPU日）しながら、最先端の手法と同等の性能を達成する。

ABSTRACT

Neural Architecture Search (NAS) achieves significant progress in many computer vision tasks. While many methods have been proposed to improve the efficiency of NAS, the search progress is still laborious because training and evaluating plausible architectures over large search space is time-consuming. Assessing network candidates under a proxy (i.e., computationally reduced setting) thus becomes inevitable. In this paper, we observe that most existing proxies exhibit different behaviors in maintaining the rank consistency among network candidates. In particular, some proxies can be more reliable -- the rank of candidates does not differ much comparing their reduced setting performance and final performance. In this paper, we systematically investigate some widely adopted reduction factors and report our observations. Inspired by these observations, we present a reliable proxy and further formulate a hierarchical proxy strategy. The strategy spends more computations on candidate networks that are potentially more accurate, while discards unpromising ones in early stage with a fast proxy. This leads to an economical evolutionary-based NAS (EcoNAS), which achieves an impressive 400x search time reduction in comparison to the evolutionary-based state of the art (8 vs. 3150 GPU days). Some new proxies led by our observations can also be applied to accelerate other NAS methods while still able to discover good candidate networks with performance matching those found by previous proxy strategies.

研究の動機と目的

• 大規模な探索空間におけるニューラルアーキテクチャ探索（NAS）の高い計算コストに対処すること。
• チャンネル数、解像度、エポック数、サンプル比といった一般的な縮小要因が、プロキシと完全な精度評価の間のランク整合性をどの程度保つかを調査すること。
• 有望なアーキテクチャに多くの計算を割り当てつつ、不適切なアーキテクチャを早期に除外する階層的プロキシ戦略を開発すること。
• 大幅に削減されたGPU日数を要するが、高い性能を達成できる効率的なNASを実現すること。

提案手法

• CIFAR-10およびImageNet上で、チャネル幅（c）、入力解像度（r）、学習エポック数（e）、サンプル比（s）の4つの縮小要因を体系的に評価する。
• チャネル数と入力解像度を低減し、同時に全サンプルを用いることで、より信頼性の高いプロキシが得られ、ランク整合性が向上することを特定する。
• 階層的プロキシ戦略を提案：まず、高速なプロキシ（例：少ないエポック数）を用いて不適切なネットワークを早期にフィルタリングし、次に上位候補に対してより高価なプロキシ（例：全エポック数）を適用する。
• 進化的NASフレームワーク内で戦略を適用し、ネットワークを段階的に訓練（20、40、60エポック）し、各段階で上位モデルのみが次の段階に進むようにする。
• プロキシと完全な設定の間で一貫したトレーニング設定を採用し、縮小設定ではカットアウト長を調整し、パスドロップアウトを除外することで、プロキシの忠実度を向上させる。
• アーキテクチャ間のプロキシ性能と完全な精度評価の順位付けの整合性を測定するために、スピアマンの順位相関係数（ρ）を用いる。

実験結果

リサーチクエスチョン

• RQ1 異なる縮小要因（c, r, e, s）は、NASにおけるプロキシと完全な精度評価の間のランク整合性にどのように影響するか？
• RQ2 どの縮小要因の組み合わせが、異なる探索空間においてアーキテクチャ順位の維持に最も信頼性の高いプロキシをもたらすか？
• RQ3 階層的プロキシ戦略は、最終的な正確性を損なうことなく、探索時間を顕著に短縮できるか？
• RQ4 提案されたプロキシは、既存のプロキシ戦略と比較して、効率性と性能の面で優れているか？

主な発見

• より多くのトレーニングサンプルを用いながらエポック数を減らすことで、エポック数を増やしてサンプル数を減らすよりも、より高いランク整合性が得られる。
• 入力解像度を低減するのとは対照的に、ネットワークのチャネル数を減らす方が、プロキシ評価におけるランク整合性の維持により信頼性がある。
• 提案された信頼性の高いプロキシ（チャネル数と解像度を低減し、トレーニングサンプルを全量使用）は、高いランク整合性を達成でき、進化的および勾配ベースのNAS手法の両方の加速に応用可能である。
• EcoNASにおける階層的プロキシ戦略により、探索時間は、最先端の進化的NASの3150 GPU日からわずか8 GPU日にまで短縮され、400倍の短縮が達成された。
• CIFAR-10およびImageNetで探索された最終的なアーキテクチャは、従来の手法で得られたものと同等の性能を示し、プロキシ戦略の有効性を確認した。
• 高速なプロキシによる早期フィルタリングと、上位候補に対するより高価なプロキシの適用により、不適切なアーキテクチャに対する完全なトレーニングを回避することで、計算量が顕著に削減された。