[論文レビュー] EPNAS: Efficient Progressive Neural Architecture Search

Yanqi Zhou, Peng Wang+5 more|arXiv (Cornell University)|Jul 7, 2019

Advanced Neural Network Applications被引用数 2

ひとこと要約

EPNAS は、段階的探索方針と REINFORCE に基づく性能予測を用いることで、大規模な探索空間における神経ネットワークアーキテクチャ探索（NAS）を高速化する新規なフレームワークである。これにより、大規模な探索空間においても効率的でスケーラブルなアーキテクチャ探索が可能となり、CIFAR10 および ImageNet で最先端の精度を達成するとともに、特にモデルサイズや計算複雑度などの複数のリソース制約下でも、大幅に探索時間を短縮する。

ABSTRACT

In this paper, we propose Efficient Progressive Neural Architecture Search (EPNAS), a neural architecture search (NAS) that efficiently handles large search space through a novel progressive search policy with performance prediction based on REINFORCE~\cite{this http URL}. EPNAS is designed to search target networks in parallel, which is more scalable on parallel systems such as GPU/TPU clusters. More importantly, EPNAS can be generalized to architecture search with multiple resource constraints, \eg, model size, compute complexity or intensity, which is crucial for deployment in widespread platforms such as mobile and cloud. We compare EPNAS against other state-of-the-art (SoTA) network architectures (\eg, MobileNetV2~\cite{mobilenetv2}) and efficient NAS algorithms (\eg, ENAS~\cite{pham2018efficient}, and PNAS~\cite{Liu2017b}) on image recognition tasks using CIFAR10 and ImageNet. On both datasets, EPNAS is superior \wrt architecture searching speed and recognition accuracy.

研究の動機と目的

• 既存の NAS 手法が大規模な探索空間における神経ネットワークアーキテクチャ探索において非効率であるという問題に取り組む。
• 段階的探索方針を導入することで、GPU/TPU クラスタ上でスケーラブルかつ並列なアーキテクチャ探索を可能にする。
• モバイルおよびクラウドプラットフォームへのデプロイメントを想定し、モデルサイズ、FLOPs、推論遅延などの複数のリソース制約最適化を支援する。
• 精度を損なわず探索効率を向上させ、既存の SoTA NAS 手法を上回る性能を発揮する。

提案手法

• EPNAS は、段階的に探索空間を拡大する段階的探索方針を採用しており、各段階での計算負荷を低減する。
• 候補アーキテクチャの精度を完全トレーニングなしに推定するために、REINFORCE に基づく性能予測を用いる。
• GPU/TPU クラスタ上で複数のアーキテクチャを並列にトレーニング可能であり、スケーラビリティを向上させる。
• サイズと複雑度の指標を探索目的関数に組み込むことで、複数のリソース制約に一般化可能な探索が可能になる。
• 予測された性能に基づいて探索空間を動的に調整し、有望なアーキテクチャに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 段階的探索方針は、大規模な探索空間における神経ネットワークアーキテクチャ探索の時間的・リソース的コストを削減できるか？
• RQ2 完全トレーニングなしに、REINFORCE に基づく性能予測はアーキテクチャ探索を効果的にガイドできるか？
• RQ3 EPNAS は、GPU/TPU クラスタなどの並列ハードウェア上でどの程度スケーラブルに拡張できるか？
• RQ4 EPNAS は、モデルサイズや FLOPs などの複数のリソース制約下で、既存の NAS 手法と比較してどの程度の性能を示すか？

主な発見

• EPNAS は、既存の NAS 手法と比較して、CIFAR10 および ImageNet で最先端の精度を達成するとともに、顕著に探索時間を短縮する。
• 段階的探索方針により、探索プロセスの初期段階で有望なアーキテクチャに焦点を当てることで、収束が速くなる。
• 並列アーキテクチャ探索設計のおかげで、GPU/TPU クラスタ上でのスケーラビリティが顕著に優れている。
• 複数のリソース制約を効果的に処理でき、モバイルおよびクラウドプラットフォームへのデプロイメントに適している。