[論文レビュー] Densely Connected Search Space for More Flexible Neural Architecture Search

Jiemin Fang, Yuzhu Sun+4 more|arXiv (Cornell University)|Jun 23, 2019

Advanced Neural Network Applications参考文献 59被引用数 13

ひとこと要約

DenseNASは、ルーティングブロックを用いてスーパーネットを構築することで、ニューラルアーキテクチャサーチにおけるブロック数と幅の共同探索を可能にする密接に接続された探索空間を提案する。また、FLOPsと精度を最適化するための段階的コスト推定アルゴリズムを採用している。TITAN-XP1台で361M FLOPs、17.9msの遅延でImageNetで75.3%のトップ1精度を達成した。

ABSTRACT

Neural architecture search (NAS) has dramatically advanced the development of neural network design. We revisit the search space design in most previous NAS methods and find the number and widths of blocks are set manually. However, block counts and block widths determine the network scale (depth and width) and make a great influence on both the accuracy and the model cost (FLOPs/latency). In this paper, we propose to search block counts and block widths by designing a densely connected search space, i.e., DenseNAS. The new search space is represented as a dense super network, which is built upon our designed routing blocks. In the super network, routing blocks are densely connected and we search for the best path between them to derive the final architecture. We further propose a chained cost estimation algorithm to approximate the model cost during the search. Both the accuracy and model cost are optimized in DenseNAS. For experiments on the MobileNetV2-based search space, DenseNAS achieves 75.3% top-1 accuracy on ImageNet with only 361MB FLOPs and 17.9ms latency on a single TITAN-XP. The larger model searched by DenseNAS achieves 76.1% accuracy with only 479M FLOPs. DenseNAS further promotes the ImageNet classification accuracies of ResNet-18, -34 and -50-B by 1.5%, 0.5% and 0.3% with 200M, 600M and 680M FLOPs reduction respectively. The related code is available at https://github.com/JaminFong/DenseNAS.

研究の動機と目的

• 従来のニューラルアーキテクチャサーチ（NAS）の探索空間における固定ブロック数と幅の硬直性を解消する。
• 各段階におけるブロック数（深さ）とその幅の自動的かつ柔軟な探索を可能にする。
• ネットワークの深さと幅の設計におけるエキスパート依存を減らすために、これらの選択を探索空間に統合する。
• 探索プロセス中にモデルの精度と計算コスト（FLOPs/遅延）の両方を最適化する。
• MobileNetV2 や ResNet などのさまざまなバックボーンアーキテクチャに適用可能なスケーラブルで効率的な探索フレームワークを開発する。

提案手法

• 後続のブロックに密接に接続されたルーティングブロックを設計し、スーパーネットとして探索空間を構築する。
• 最終的なアーキテクチャをスーパーネット上のパスとして表現し、各ルーティングブロックの学習可能な確率パラメータによってパス選択を制御する。
• 遷移確率に基づいてコスト寄与度を伝搬することで、FLOPsを近似する段階的コスト推定アルゴリズムを導入する。
• 離散的パス選択を連続的な確率分布に緩和することで、探索空間を微分可能NASフレームワークに統合する。
• アーキテクチャパラメータ（αおよびβ）を勾配降下法で最適化することで、微分可能探索プロセスを実装する。
• 段階的コスト推定を活用し、探索中に完全な推論を実行せずに低FLOPアーキテクチャへの探索を誘導する。

実験結果

リサーチクエスチョン

• RQ1 柔軟なブロック数と幅を許容する探索空間は、固定構造の探索空間と比較してNASのパフォーマンスを向上させるか？
• RQ2 ルーティングブロックを備えた密接に接続されたスーパーネットの設計は、探索されたアーキテクチャの多様性と質にどのように影響するか？
• RQ3 完全な推論を伴わずに、微分可能NASの過程で段階的コスト推定アルゴリズムがモデルのFLOPsを効果的に近似できるか？
• RQ4 提案手法は、深さと幅の手動によるハイパーパramータチューニングの必要性をどの程度低減できるか？
• RQ5 この手法は、MobileNetV2 や ResNet などの異なるバックボーンアーキテクチャに一般化可能か？

主な発見

• DenseNASは、TITAN-XP1台で361M FLOPs、17.9msの遅延でImageNetで75.3%のトップ1精度を達成し、固定構造ベースラインを上回った。
• DenseNASが探索したより大きなモデルは、479M FLOPsで76.1%のトップ1精度を達成し、スケーラビリティとパフォーマンス向上を示した。
• DenseNASは、ResNet-18、-34、-50-Bをそれぞれ1.5%、0.5%、0.3%のトップ1精度向上させるとともに、FLOPsを200M、600M、680Mそれぞれ削減した。
• アブレーションスタディの結果、ルーティングブロックにおける接続数が4のときが最良のパフォーマンスを示し、75.3%の精度と17.9msの遅延を達成した。
• 段階的コスト推定法は、実際のFLOPsと強く相関していた（r≈0.95）、ローカルコスト推定を著しく上回った。
• アーキテクチャ可視化により、DenseNASは後段の段階で自然に深いネットワークを学習することが確認された。最小モデル（251M FLOPs）は、より大きなバージョンよりもブロック数が少なかった。