[論文レビュー] PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment

Sian-Yao Huang, Wei-Ta Chu|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

PONASは、ハードウェア制約のあるデプロイメント向けに、スーパーネット学習中に精度テーブルを構築するプログレッシブ・ワンショットニューラルアーキテクチャサーチ手法を提案する。各レイヤーごとの候補ブロックの検証精度を保存することで、約10秒で特殊化されたネットワーク選択を即時検索可能とし、ImageNetで75.2%のトップ-1精度を達成し、最小限の検索コストで実現した。

ABSTRACT

We achieve very efficient deep learning model deployment that designs neural network architectures to fit different hardware constraints. Given a constraint, most neural architecture search (NAS) methods either sample a set of sub-networks according to a pre-trained accuracy predictor, or adopt the evolutionary algorithm to evolve specialized networks from the supernet. Both approaches are time consuming. Here our key idea for very efficient deployment is, when searching the architecture space, constructing a table that stores the validation accuracy of all candidate blocks at all layers. For a stricter hardware constraint, the architecture of a specialized network can be very efficiently determined based on this table by picking the best candidate blocks that yield the least accuracy loss. To accomplish this idea, we propose Progressive One-shot Neural Architecture Search (PONAS) that combines advantages of progressive NAS and one-shot methods. In PONAS, we propose a two-stage training scheme, including the meta training stage and the fine-tuning stage, to make the search process efficient and stable. During search, we evaluate candidate blocks in different layers and construct the accuracy table that is to be used in deployment. Comprehensive experiments verify that PONAS is extremely flexible, and is able to find architecture of a specialized network in around 10 seconds. In ImageNet classification, 75.2% top-1 accuracy can be obtained, which is comparable with the state of the arts.

研究の動機と目的

• 多様なハードウェア制約に対するモデルの探索と最適化にかかる高い計算コストを解消すること。
• 再訓練のコストを回避することで、効率的かつハードウェア最適化されたニューラルネットワークの極めて迅速なデプロイメントを可能にすること。
• さまざまなFLOPsおよびレイテンシ制約に応じたモデルの迅速なカスタマイズを可能にするスケーラブルで柔軟なNASフレームワークの開発。
• スーパーネットの学習安定性と効率性を向上させるために、2段階の訓練スキームを導入すること。

提案手法

• 2段階の訓練スキームを提案：メタトレーニングでスーパーネットを初期化し、ファインチューニングで性能を安定化・向上。
• 探索中に各レイヤーごとの候補ブロックの検証精度を記録する精度テーブルを構築。
• 精度テーブルを精度損失ドメインに変換し、ブロックの重要度のレイヤー間比較を可能にする。
• 再訓練や進化的探索の代わりにテーブル照会を用いることで、ハードウェア制約下での候補アーキテクチャの迅速な評価を実現。
• 各レイヤーで独立して最良のブロックを選択するプログレッシブ探索を採用し、非均一なレイヤー設計を可能にする。
• 精度損失メトリクスを用いて、異なるレイヤーの重要度を定量化し、効率的な特殊化を支援する。

実験結果

リサーチクエスチョン

• RQ1 ワンショットNAS手法が、ハードウェア制約のあるモデルに対して10秒未塔のアーキテクチャサーチを達成できるか？
• RQ2 事前に構築された精度テーブルが、特殊化されたネットワークの正確で効率的な性能予測を可能にするか？
• RQ3 レイヤー間で精度損失を測定することで、ブロックの重要度の効果的なランク付けが可能となり、より良いネットワーク特殊化が可能になるか？
• RQ4 2段階の訓練戦略は、スーパーネット学習におけるランダム初期化と比較して収束速度と安定性を向上させるか？

主な発見

• PONASはImageNetで75.2%のトップ-1精度を達成し、顕著に低い検索コストで最先端性能を再現した。
• テーブル照会のみを用いることで、特殊化アーキテクチャの検索が約10秒で完了し、従来のワンショットNAS手法と比べて著しく時間短縮された。
• 精度損失メトリクスは、実際の検証精度と0.733の強いケンダールのτ相関を示し、性能予測の信頼性が裏付けられた。
• 特に非対称なチャネル次元を持つレイヤー（例：非対称なチャネル数）でブロックを置き換えることで、より大きな精度向上が得られ、重要度メトリクスの妥当性が確認された。
• 2段階の訓練スキームは、ランダム初期化に比べて収束が早く、安定性に優れていることが、訓練曲線の比較で示された。
• 最重要度に配慮した最悪のモデル（73.9%のトップ-1精度、FLOPs 295M）は、最重要度が最も低い最悪のモデル（305M）よりもFLOPsを削減しながらも高い精度を達成しており、レイヤー重要度に基づく特殊化の有効性が裏付けられた。