[論文レビュー] TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search

Yibo Hu, Xiang Wu+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 49被引用数 8

ひとこと要約

TF-NASは、高精度で遅延制約付きのモデルを達成するために、演算レベル、深さレベル、幅レベルの探索自由度を再考する新しい微分可能ニューラルアーキテクチャ探索フレームワークを提案する。バイサンプリングを導入して演算クラッシュを緩和し、スイッチバック接続の排他的な制約を強制し冗長性を低減するスイントコネクティング探索空間、および細粒度な遅延制御を可能にするエラスティシティスケーリング戦略を採用することで、TF-NASは1.8 GPU日間の探索時間でImageNetで76.9%のトップ1精度を達成し、正確な遅延制御を実現した。

ABSTRACT

With the flourish of differentiable neural architecture search (NAS), automatically searching latency-constrained architectures gives a new perspective to reduce human labor and expertise. However, the searched architectures are usually suboptimal in accuracy and may have large jitters around the target latency. In this paper, we rethink three freedoms of differentiable NAS, i.e. operation-level, depth-level and width-level, and propose a novel method, named Three-Freedom NAS (TF-NAS), to achieve both good classification accuracy and precise latency constraint. For the operation-level, we present a bi-sampling search algorithm to moderate the operation collapse. For the depth-level, we introduce a sink-connecting search space to ensure the mutual exclusion between skip and other candidate operations, as well as eliminate the architecture redundancy. For the width-level, we propose an elasticity-scaling strategy that achieves precise latency constraint in a progressively fine-grained manner. Experiments on ImageNet demonstrate the effectiveness of TF-NAS. Particularly, our searched TF-NAS-A obtains 76.9% top-1 accuracy, achieving state-of-the-art results with less latency. The total search time is only 1.8 days on 1 Titan RTX GPU. Code is available at https://github.com/AberHu/TF-NAS.

研究の動機と目的

• 既存の遅延制約付き微分可能NAS手法における精度の最適でない問題と大きな遅延ジャイタを解決すること。
• 演算レベルのクラッシュ、深さレベルの冗長性、粗い幅レベルの離散化に起因する不安定性の問題を調査し、解決すること。
• 再考された探索空間設計と段階的精錬を通じて、高いモデル精度を維持しつつ正確な遅延制約を実現すること。
• スイッチバック接続と他の演算の排他的な関係をモデル化することで、探索の安定性と柔軟性を向上させること。
• 探索段階における計算コストを最小限に抑えて最先端の性能を達成すること。

提案手法

• アーキテクチャ空間と演算空間を同時にサンプリングすることで、演算クラッシュを軽減するバイサンプリング探索アルゴリズムを提案する。
• スイッチバック接続と他の演算の間で排他的な制約を強制するスイントコネクティング探索空間を導入する。
• 段階的にモデル幅を縮小・拡大することで、細粒度な遅延制御を可能にするエラスティシティスケーリング戦略を設計する。
• 3つの探索自由度を統合したスーパーネットベースの微分可能NASフレームワークを採用し、勾配ベース最適化を実施する。
• 特定のハードウェア上でターゲット遅延制約に沿った探索を誘導するための遅延認識探索目的関数を用いる。
• 探索中に段階的な幅スケーリングを適用することで、探索空間を精錬し、正確な遅延ターゲットへの収束を向上させる。

実験結果

リサーチクエスチョン

• RQ1 微分可能NASにおける演算クラッシュはどのように軽減可能か。これにより探索の安定性と多様性がどのように向上するか。
• RQ2 スイッチバック接続は深さレベル探索において果たす役割は何か。他の演算との排他的な関係はどのように強制できるか。
• RQ3 粗い幅の離散化がなぜ不正確な遅延制御を引き起こすのか。段階的にどのように精錬できるか。
• RQ4 演算、深さ、幅の自由度を統合した包括的な探索フレームワークは、高精度と正確な遅延制約の両立を達成できるか。
• RQ5 提案手法TF-NASは、最先端のNAS手法と比較して、精度、遅延の正確性、探索効率の観点でどのように優れているか。

主な発見

• TF-NAS-AはImageNetで76.9%のトップ1精度を達成し、遅延制約付きモデルにおいて新たな最先端の結果を樹立した。
• 正確な遅延制御が実現されており、精錬後にはターゲット遅延（例：15.76ms vs. 15ms）に非常に近いアーキテクチャが得られた。
• 探索プロセスに要する計算コストはわずか1.8 GPU日間であり、従来手法と比較して顕著に削減された。
• バイサンプリング戦略は演算クラッシュを効果的に軽減し、探索の安定性と多様性を向上させた。
• スイントコネクティング探索空間はアーキテクチャの冗長性を排除し、スイッチバック接続が他の演算と排他的であることを保証した。
• エラスティシティスケーリング戦略により、段階的な細粒度な幅調整が可能になり、正確な遅延制約の実装が可能となった。