[論文レビュー] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens

Zhaohui Yang, Yunhe Wang+7 more|arXiv (Cornell University)|May 29, 2020

Advanced Neural Network Applications参考文献 53被引用数 7

ひとこと要約

HourNASは、時計型構造を模した二段階探索を用いて、情報の流れと精度に不可欠な『重要ブロック』を特定することで、極めて高速なニューラルアーキテクチャ探索手法を提案する。重要ブロックを優先し、非重要ブロックの探索空間を計算制限内で制約することで、1つのGPUを用いて3時間でImageNetで77.0%のTop-1精度を達成し、速度と精度の両面で最先端の手法を上回った。

ABSTRACT

Neural Architecture Search (NAS) refers to automatically design the architecture. We propose an hourglass-inspired approach (HourNAS) for this problem that is motivated by the fact that the effects of the architecture often proceed from the vital few blocks. Acting like the narrow neck of an hourglass, vital blocks in the guaranteed path from the input to the output of a deep neural network restrict the information flow and influence the network accuracy. The other blocks occupy the major volume of the network and determine the overall network complexity, corresponding to the bulbs of an hourglass. To achieve an extremely fast NAS while preserving the high accuracy, we propose to identify the vital blocks and make them the priority in the architecture search. The search space of those non-vital blocks is further shrunk to only cover the candidates that are affordable under the computational resource constraints. Experimental results on the ImageNet show that only using 3 hours (0.1 days) with one GPU, our HourNAS can search an architecture that achieves a 77.0% Top-1 accuracy, which outperforms the state-of-the-art methods.

研究の動機と目的

• ImageNetのような大規模データセットにおけるニューラルアーキテクチャ探索（NAS）の高い計算コストを解決すること。
• ネットワークブロックの影響力の高いものを特定し、優先順位を付けることで、計算コストを抑えつつ精度を損なわない探索効率の向上。
• 重要ブロックと非重要ブロックを区別することで、計算リソースをより効果的に割り当てられる探索フレームワークの開発。
• 最小限のリソースでImageNetに対する直接的なNASを可能にし、既存の最先端手法を上回ること。

提案手法

• 二段階探索戦略を導入：入力から出力へのすべてのパスに存在する『重要ブロック』を特定し、時計型の『首』に相当する。
• 計算制限下で重要ブロックを最初に最適化し、精度への影響を最大化する。
• 非重要ブロックの探索空間を、残りの計算予算内で実現可能な候補のみに削減する。
• 事前に定義されたFLOPsおよびパラメータ制約のもとで、有望なアーキテクチャを生成・評価するための空間提案手法を用いる。
• SuperNetからのアーキテクチャパラメータを効率的にサンプリングするため、Gumbel-Maxサンプリングを採用し、探索コストを低減しながら性能を維持する。
• 共有重みとアーキテクチャパラメータを備えた微分可能探索フレームワークを用い、エンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク内の最も重要なブロックを特定し、優先順位を付けることで、ニューラルアーキテクチャ探索を著しく高速化できるか？
• RQ2 重要ブロックと非重要ブロックへのリソース配分が、探索効率と最終的なモデル精度に与える影響は何か？
• RQ3 非重要ブロックの探索空間を制約することで、探索時間を著しく短縮しながらも、高い性能を持つアーキテクチャを達成できるか？
• RQ4 微分可能なNAS設定において、Gumbel-MaxサンプリングはGumbel-Softmaxに比べて探索効率を向上させるか？
• RQ5 このフレームワークを用いて、3時間未満でImageNetに対する直接的なNASを実行し、競争力のある精度を達成できるか？

主な発見

• HourNASは、1つのGPUを用いて3時間（0.1 GPU日）のトレーニング時間で、ImageNetで77.0%のTop-1精度を達成し、最先端の手法を上回った。
• 標準的な二段階探索に比べて探索時間を9倍短縮し、リソース制約を組み合わせた場合、72倍短縮された。
• 重要ブロックの事前優先順位付けにより、FBNetとEfficientNetの探索空間において、それぞれ0.9%および0.6%の性能向上が達成された。
• Gumbel-Maxサンプリングを用いることで、探索コストを1 GPU日にまで低減し、Gumbel-Softmaxに比べて0.1%高いTop-1精度を達成した。
• アーキテクチャHourNAS-EfficientNetSS-Fは、FLOPsとパラメータ数がEfficientNet-B0と同等のまま、Top-1精度で0.2%高い性能を示した。
• 重要ブロックの事前優先順位付けを用いない場合、探索プロセスは2倍遅くなり（6時間）、その重要性が確認された。