[論文レビュー] HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search

Niv Nayman, Yonathan Aflalo+2 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Neural Network Applications参考文献 63被引用数 17

ひとこと要約

HardCoRe-NAS は、微分可能探索空間とブロック座標確率的フランク＝ウォルフ最適化法を用いて、探索プロセス全体でハードな遅延制約を強制する微分可能ニューラルアーキテクチャ探索フレームワークを提案する。この手法は、後処理のチューニングや精度の低下なしに、ImageNet で最先端の精度を達成するとともに、ユーザーが定義した遅延制約を厳密に満たす。

ABSTRACT

Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS), however, previous methods enforce the constraint only softly. Therefore, the resulting networks do not exactly adhere to the resource constraint and their accuracy is harmed. In this work we resolve this by introducing Hard Constrained diffeRentiable NAS (HardCoRe-NAS), that is based on an accurate formulation of the expected resource requirement and a scalable search method that satisfies the hard constraint throughout the search. Our experiments show that HardCoRe-NAS generates state-of-the-art architectures, surpassing other NAS methods, while strictly satisfying the hard resource constraints without any tuning required.

研究の動機と目的

• 既存の制約付きNAS手法がリソース制約を弱くしか強制しないという限界に対処し、制約違反や精度の低下を回避すること。
• 遅延に関するハード制約を探索プロセス全体（離散化を含む）にわたって厳密に満たす、スケーラブルで微分可能なNAS手法を開発すること。
• 異なるハードウェアプラットフォームと多様な遅延要件を想定した、効率的かつ正確なアーキテクチャ探索を可能にすること。
• ワンショットモデルにおける事前学習済み重みの保持と知識蒸留を用いた高速なサブネットワーク微調整により、高い精度を維持すること。

提案手法

• 期待遅延に関するハード制約を含む二段階最適化としてNAS問題を定式化し、すべての段階で厳密な準拠を保証する。
• 1つのワンショットモデルから、固定された事前学習済み重みを用いて効率的なサブネットワークのサンプリングを可能にする微分可能な探索空間を導入する。
• 探索空間内における各アーキテクチャの期待遅延を推定する高精度な解析的公式を採用する。
• 制約付き最適化問題を解くために、ブロック座標確率的フランク＝ウォルフ（BC-SFW）アルゴリズムを用い、収束性を確保するとともにハード制約を維持する。
• 連続的なアーキテクチャパラメータを離散アーキテクチャに変換するための新規な射影法を提案し、遅延制約を厳密に保持する。
• 重いモデルからの知識蒸留を活用して抽出されたサブネットワークを微調整し、1モデルあたりのトレーニングコストをわずか15 GPU時間にまで低減する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なNAS手法が、アーキテクチャの離散化段階を含め、探索プロセス全体でハードな遅延制約を厳密に満たすことは可能か？
• RQ2 ハード制約を強制することで、ソフト制約付き手法と比較して最終アーキテクチャの精度と制約準拠性にどのような影響を与えるか？
• RQ3 提案手法は、追加のトレーニングコストを最小限に抑えながら、複数のデバイスや遅延ターゲットに効率的にスケーリング可能か？
• RQ4 ワンショット学習と知識蒸留の組み合わせにより、再学習から始めることと比較して、最終モデル生成の時間とコストをどの程度削減できるか？
• RQ5 BC-SFW最適化法は、ソフトペナルティを用いた勾配降下法と比較して、制約準拠性と収束速度の点でどのように異なるか？

主な発見

• HardCoRe-NAS は、全遅延レベルにおいてImageNetで最先端のトップ-1精度を達成し、MobileNet V3、TF-NAS、MNAS-NET、SPNAS などの手法を上回る。
• 全テスト遅延レベル（35–60ms）において、ユーザーが定義した遅延制約を厳密に満たし、離散化段階でも制約違反は観測されなかった。
• NASで一般的に用いられる argmax 射影法は最大10%の遅延制約違反を引き起こすが、HardCoRe-NAS が提案する射影法は正確な準拠を維持する。
• 知識蒸留の活用により、1サブネットワークあたりわずか15 GPU時間でモデル生成が可能となり、合計コストは 400 + 15N 時間まで低減された。これは OFA の 1200 + 25N 時間と比べて顕著に低い。
• BC-SFWアルゴリズムは、収束が早く、最適化全体にわたりハード制約を維持するが、ソフト制約付き勾配降下法はハイパーパramータのチューニングに敏感で、しばしば制約違反を引き起こす。
• マルチパスサンプリングにより、プロキシ精度と最終精度の相関係数（ρ = 0.99）が向上し、ケンダールのτも0.35上昇した。これは、アーキテクチャの順序付けがより信頼性あるものになったことを示している。