[論文レビュー] FNAS: Uncertainty-Aware Fast Neural Architecture Search

Jihao Liu, Ming Zhang+5 more|arXiv (Cornell University)|May 25, 2021

Advanced Neural Network Applications参考文献 42被引用数 5

ひとこと要約

FNASは、不確実性を考慮したクライアント（UAC）、アーキテクチャ知識プール（AKP）、アーキテクチャエクスペリエンスバッファ（AEB）の3つのモジュールを導入することで、強化学習に基づくニューラルアーキテクチャ探索（NAS）を10倍高速化した。これにより、画像認識、顔認識、COCOオブジェクト検出の各タスクで最先端の精度を達成しながら、GPU時間の消費を20,000時間から2,000時間に削減した。

ABSTRACT

Reinforcement learning (RL)-based neural architecture search (NAS) generally guarantees better convergence yet suffers from the requirement of huge computational resources compared with gradient-based approaches, due to the rollout bottleneck -- exhaustive training for each sampled generation on proxy tasks. In this paper, we propose a general pipeline to accelerate the convergence of the rollout process as well as the RL process in NAS. It is motivated by the interesting observation that both the architecture and the parameter knowledge can be transferred between different experiments and even different tasks. We first introduce an uncertainty-aware critic (value function) in Proximal Policy Optimization (PPO) to utilize the architecture knowledge in previous experiments, which stabilizes the training process and reduces the searching time by 4 times. Further, an architecture knowledge pool together with a block similarity function is proposed to utilize parameter knowledge and reduces the searching time by 2 times. It is the first to introduce block-level weight sharing in RLbased NAS. The block similarity function guarantees a 100% hitting ratio with strict fairness. Besides, we show that a simply designed off-policy correction factor used in "replay buffer" in RL optimization can further reduce half of the searching time. Experiments on the Mobile Neural Architecture Search (MNAS) search space show the proposed Fast Neural Architecture Search (FNAS) accelerates standard RL-based NAS process by ~10x (e.g. ~256 2x2 TPUv2 x days / 20,000 GPU x hour -> 2,000 GPU x hour for MNAS), and guarantees better performance on various vision tasks.

研究の動機と目的

• 強化学習ベースのニューラルアーキテクチャ探索（NAS）の高い計算コストに起因する、通常20,000 GPU時間もかかるサンプルアーキテクチャの総当たり的トレーニングを是正すること。
• 過去の探索プロセスからの転送可能な知識を活用することで、強化学習ベースのNASにおけるサンプル効率とトレーニング速度を向上させること。
• 異なるタスクや探索設定間でアーキテクチャおよびパラメータ知識を再利用することで、収束を高速化し、より優れた性能を達成すること。
• アーキテクチャ的およびパラメータベースの知識転送が、精度を損なわせることなく探索時間を顕著に短縮できることを実証すること。

提案手法

• プロキシマルポリシーオプティマイゼーション（PPO）に不確実性を考慮したクライアント（UAC）を導入し、アーキテクチャ-パフォーマンス連合分布を不確実性推定とともにモデル化することで、トレーニングの安定性を向上させ、必要なサンプル数を50%削減した。
• 過去のトレーニングチェックポイントから得たブロックレベルの重みを格納するアーキテクチャ知識プール（AKP）を提案し、ブロック類似度関数を用いて新しいアーキテクチャを初期化することで、収束を約2倍に高速化した。
• オフポリシー補正要因を備えたアーキテクチャエクスペリエンスバッファ（AEB）を採用し、事前にトレーニングされたモデルを保存・再利用することで、効率的な経験再利用により探索時間を半減した。
• ImageNet、COCO、顔認識データセットの3つのタスクに対して直接探索可能なマルチオブジェクティブ報酬関数を用い、プリーニングを伴わずにエンドツーエンドのパフォーマンス評価を可能にした。
• あるタスク（例：顔認識）から得た知識でUACおよびAKPを初期化することで、別のタスク（例：ImageNet）での探索を加速するトランスファーラーニングを適用し、タスク間知識転送の有効性を実証した。
• UAC、AKP、AEBの3つのモジュールを統合することで、全体のNASパイプラインで10倍の高速化を達成した。最終的なモデル精度は維持または向上した。

実験結果

リサーチクエスチョン

• RQ1 不確実性を考慮した価値関数は、強化学習ベースのニューラルアーキテクチャ探索におけるサンプル効率を向上させることができるか？
• RQ2 過去の探索プロセスから得たブロックレベルのパラメータ知識は、新しいアーキテクチャの収束を加速するために再利用可能か？
• RQ3 補正要因を備えたオフポリシー経験再利用は、NASにおける必要なトレーニングエポック数を削減できるか？
• RQ4 ある探索プロセス（例：顔認識）からの知識を、別のタスク（例：ImageNet）での探索を加速するためにどれほど効果的に転送できるか？
• RQ5 複数の知識転送メカニズムを統合することで、パフォーマンスの低下を伴わずに強化学習ベースのNASで10倍の高速化を達成できるか？

主な発見

• FNASは、Mobile NAS探索空間において、ベースラインのMNASが要する20,000 GPU時間から2,000 GPU時間にまで探索時間を短縮し、10倍の高速化を達成した。
• 提案手法は、85Mの乗加算を要する条件下でImageNetにおけるトップ1精度66.25%を達成し、MBv3を上回り、同等の計算制約下でEfficientNet-B0をも凌駕した。
• 顔認識の細分化タスクでは、FNASが計算量を24%削減しながら、MBv2を4ポイント上回る検証精度を達成した。
• 顔認識データで事前学習したUACを用いることで、FNASはサンプルの25%のみでImageNetで73.91%のトップ1精度を達成し、ベースラインを0.67%上回った。
• 顔探索から得たAKPで初期化したFNASは、サンプルの半分でImageNetで75.22%のトップ1精度を達成し、ベースラインより0.6%の性能向上を示した。
• アブレーションスタディの結果、UAC、AKP、AEBの統合が最大の高速化（10倍）と最高のパフォーマンスをもたらし、各モジュールが独立して効率性と精度に寄与していることが確認された。