[論文レビュー] Single Path One-Shot Neural Architecture Search with Uniform Sampling

Zichao Guo, Xiangyu Zhang+5 more|arXiv (Cornell University)|Mar 31, 2019

Advanced Neural Network Applications参考文献 58被引用数 246

ひとこと要約

本論文は、確率的スーパーネットを訓練するための一経路（single-path）ワンショット NAS を、均一な経路サンプリングとともに導入し、効率的で柔軟なアーキテクチャ探索を実現し、大規模探索空間と実世界の制約をサポートしつつ、ImageNet で最先端の結果を達成する。

ABSTRACT

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.

研究の動機と目的

• 訓練の不安定性と重み結合の問題に対処することによって、ワンショット NAS パラダイムへの関心を再喚起する。
• アーキテクチャ探索と重み最適化を分離するため、均一な経路サンプリングを用いた単一路スーパーネットを提案する。
• 複雑な設計選択（チャネル数、混合精度量子化）と実世界の制約（FLOPs、遅延）をサポートする柔軟な探索フレームワークを示す。
• ImageNet における精度、メモリ、探索効率の観点で最先端の性能を示す。

提案手法

• 各アーキテクチャが1つの経路に対応する単一路スーパーネットを定式化し、重みの協調適合を低減する。
• すべてのアーキテクチャが完全かつ平等に訓練されるよう、均一な経路サンプリング戦略でスーパーネットを訓練する。
• 厳密な遅延/ FLOPs 制約の下でアーキテクチャ探索に進化的アルゴリズムを用いる。
• チャネル数探索と混合精度量子化探索のための新しい選択ブロックを導入する。
• 均一経路サンプリングと経路ドロップアウトを比較し、安定性と性能の優位性を実証する。

Figure 1: Comparison of single path strategy and drop path strategy

実験結果

リサーチクエスチョン

• RQ1 単一路・均一サンプリングされたスーパーネットは、ファインチューニングなしでアーキテクチャの性能を効果的に予測できるか？
• RQ2 均一サンプリングは、ワンショット NAS における経路ドロップアウトと比較して、重みの結合と訓練の不安定さを緩和するか？
• RQ3 この手法は、大規模データセット上で複雑な探索空間（チャネル、量子化）と実世界の制約（レイテンシ、FLOPs）をどの程度上手く扱えるか？
• RQ4 大規模空間内でアーキテクチャを選択する際、進化的探索はランダム探索より効果的か？
• RQ5 ImageNet における本手法と従来の NAS 手法との差異は、相対的な効率とメモリ使用量としてどの程度か？

主な発見

• 均一な経路サンプリングで訓練された単一路スーパーネットは訓練が容易で探索が高速。
• 本手法はチャネル数や混合精度量子化を含む豊かな探索空間をサポートする。
• 制約下で高性能なアーキテクチャを見つける際、進化型アーキテクチャ検索はランダム探索より優れている。
• ImageNet で高い精度を達成しつつ遅延/ FLOPs 制約を満たし、トレーニング時のメモリも一部の従来手法より少ない。
• 同じ訓練済みスーパーネットから複数の制約駆動の探索を可能にし、柔軟性と効率を示す。

Figure 2: Evolutionary vs. random architecture search