[論文レビュー] sharpDARTS: Faster and More Accurate Differentiable Architecture Search

Andrew Hundt, Varun Jain+1 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Neural Network Applications参考文献 27被引用数 35

ひとこと要約

sharpDARTSは、SharpSepConv、Cosine Power Annealing学習率スケジュール、Max-W正則化を導入することで差分可能アーキテクチャ探索を改善し、CIFAR-10、CIFAR-10.1で探索を高速化・高精度を達成し、ImageNetでも競合的な結果を示す。

ABSTRACT

Neural Architecture Search (NAS) has been a source of dramatic improvements in neural network design, with recent results meeting or exceeding the performance of hand-tuned architectures. However, our understanding of how to represent the search space for neural net architectures and how to search that space efficiently are both still in their infancy. We have performed an in-depth analysis to identify limitations in a widely used search space and a recent architecture search method, Differentiable Architecture Search (DARTS). These findings led us to introduce novel network blocks with a more general, balanced, and consistent design; a better-optimized Cosine Power Annealing learning rate schedule; and other improvements. Our resulting sharpDARTS search is 50% faster with a 20-30% relative improvement in final model error on CIFAR-10 when compared to DARTS. Our best single model run has 1.93% (1.98+/-0.07) validation error on CIFAR-10 and 5.5% error (5.8+/-0.3) on the recently released CIFAR-10.1 test set. To our knowledge, both are state of the art for models of similar size. This model also generalizes competitively to ImageNet at 25.1% top-1 (7.8% top-5) error. We found improvements for existing search spaces but does DARTS generalize to new domains? We propose Differentiable Hyperparameter Grid Search and the HyperCuboid search space, which are representations designed to leverage DARTS for more general parameter optimization. Here we find that DARTS fails to generalize when compared against a human's one shot choice of models. We look back to the DARTS and sharpDARTS search spaces to understand why, and an ablation study reveals an unusual generalization gap. We finally propose Max-W regularization to solve this problem, which proves significantly better than the handmade design. Code will be made available.

研究の動機と目的

• 既存のNAS探索空間とDARTS法の制約を特定する。
• よりバランスが取れた効率的な探索空間とトレーニングレジメンを開発する。
• モバイル規模アーキテクチャの一般化と探索効率を改善する。

提案手法

• 演算量を均等化するため、深さとボトルネックをバランスさせたSharpSepConvブロックを提案する。
• 訓練中の有効学習率を維持するため、Cosine Power Annealing学習率スケジュールを導入する。
• 微分可能なハイパーパラメータグリッドサーチとHyperCuboid探索空間を定義し、離散的な選択肢を評価する。
• DARTSのバイアスを特定するアブレーションを実施し、それらを緩和するMax-W正則化を導入する。

実験結果

リサーチクエスチョン

• RQ1 DARTSの探索空間には新しいドメインへの一般化を制限するバイアスがあるか。
• RQ2 SharpSepConvと改良された訓練レジメンは、CIFAR-10/10.1とImageNetでより速い探索とより高い最終精度をもたらすか。
• RQ3 Max-W正則化は低容量プリミティブへのバイアスを緩和することでアーキテクチャ探索を改善するか。

主な発見

• SharpSepConvとsharpDARTSはCIFAR-10およびCIFAR-10.1でモバイル規模の最先端結果を達成し、探索時間を著しく短縮。
• Cosine Power Annealingはより最適な学習率を維持し、標準的なCosine Annealingよりトレーニングダイナミクスを改善。
• Max-W正則化は高勾配・小さなプリミティブへのバイアスを低減し、より大きく高精度なモデルを可能にする。
• Differentiable Hyperparameter Grid SearchとHyperCuboid空間は、空間間でのDARTSの一般化ギャップを明らかにする。
• 手作業設計およびMax-W正則化されたアプローチは、いくつかの設定でスカラーDARTSを上回ることがあり、探索空間と最適化のバイアスを浮き彫りにする。