[論文レビュー] ZARTS: On Zero-order Optimization for Neural Architecture Search

Xiaoxing Wang, Wenxuan Guo+3 more|arXiv (Cornell University)|Oct 10, 2021

Advanced Neural Network Applications参考文献 23被引用数 5

ひとこと要約

ZARTSは、DARTSにおける1階近似によるバイアスを回避するゼロ階層最適化フレームワークを提案する。勾配フリー手法（例：MGS）を用いることで、より安定的かつ正確なニューラルアーキテクチャ探索（NAS）を実現する。SOTA性能を達成し、CIFAR-10で97.54%の精度、ImageNetで75.7%のトップ1精度を達成。DARTSの変種と併用可能で、さらなる高速化が可能となる。

ABSTRACT

Differentiable architecture search (DARTS) has been a popular one-shot paradigm for NAS due to its high efficiency. It introduces trainable architecture parameters to represent the importance of candidate operations and proposes first/second-order approximation to estimate their gradients, making it possible to solve NAS by gradient descent algorithm. However, our in-depth empirical results show that the approximation will often distort the loss landscape, leading to the biased objective to optimize and in turn inaccurate gradient estimation for architecture parameters. This work turns to zero-order optimization and proposes a novel NAS scheme, called ZARTS, to search without enforcing the above approximation. Specifically, three representative zero-order optimization methods are introduced: RS, MGS, and GLD, among which MGS performs best by balancing the accuracy and speed. Moreover, we explore the connections between RS/MGS and gradient descent algorithm and show that our ZARTS can be seen as a robust gradient-free counterpart to DARTS. Extensive experiments on multiple datasets and search spaces show the remarkable performance of our method. In particular, results on 12 benchmarks verify the outstanding robustness of ZARTS, where the performance of DARTS collapses due to its known instability issue. Also, we search on the search space of DARTS to compare with peer methods, and our discovered architecture achieves 97.54% accuracy on CIFAR-10 and 75.7% top-1 accuracy on ImageNet, which are state-of-the-art performance.

研究の動機と目的

• DARTSにおける最適ネットワーク重みの1階近似に起因する不安定性およびバイアスを是正すること。
• アーキテクチャパラメータに対する勾配計算依存を回避する、微分可能でないNASフレームワークを構築すること。
• ゼロ階層手法が、バイレベルNAS最適化における勾配ベースのDARTSの代替として安定的かつ効果的であることを示すこと。
• ゼロ階層最適化と勾配降下法との関係を明らかにし、ZARTSをDARTSの代替としての安定性を有する手法として位置づけること。
• ZARTSを、MergeNAS や GZAS などの直交的DARTS変種と組み合わせることで、さらに高速かつ正確なアーキテクチャ探索を実現すること。

提案手法

• ZARTSは、DARTSにおける勾配ベース最適化をゼロ階層最適化手法に置き換え、アーキテクチャパラメータに関する探索損失の微分可能性に依存しなくなる。
• 代表的な3つのゼロ階層手法（ランダムサーチ（RS）、ミメティック勾配サーチ（MGS）、方向サンプリングを用いた勾配フリー学習（GLD））を評価し、MGSが精度と速度のバランスが最も優れていることが判明。
• アーキテクチャパラメータがゼロ階層勾配を介して更新されるバイレベル最適化問題としてNASを定式化し、1階近似による損失関数の歪みを回避する。
• ZARTSは、既存のDARTS変種と互換性を持つように設計されており、MergeNAS や P-DARTS などの手法と統合することで、さらに探索速度を向上させ、性能を向上させることができる。
• ゼロ階層手法は関数評価のみで勾配を推定可能であるため、微分不能または複雑な探索目的関数に対しても適している。
• 理論的および実験的分析により、MGSとRSは勾配降下法の近似として解釈可能であり、ZARTSがDARTSの代替としての安定性を有する勾配フリー手法であることが示された。

実験結果

リサーチクエスチョン

• RQ1 DARTSにおける1階近似が損失関数の形状を歪め、アーキテクチャパラメータの学習を不安定にするか？
• RQ2 微分可能性に依存しないゼロ階層最適化手法が、勾配ベースNASの代替としてより安定的かつ正確に機能するか？
• RQ3 MGS、RS、GLD といったゼロ階層手法は、NASにおける精度、速度、耐性の観点でどのように比較されるか？
• RQ4 ゼロ階層最適化と勾配降下法との間の理論的および実験的関係は、NASの文脈でどのように解釈されるか？
• RQ5 ZARTSは、既存のDARTS変種と効果的に統合可能か？さらに探索速度と性能を向上できるか？

主な発見

• ZARTSはCIFAR-10で97.54%のトップ1精度を達成し、DARTSおよびその多数の変種を上回った。
• ImageNetでは5.6Mパラメータのモデルで75.7%のトップ1精度を達成し、優れた耐性と性能を示した。
• ZARTSのMGSバージョンは、テストされた3つのゼロ階層手法の中で、精度と速度のバランスが最も優れていた。
• 12のベンチマークにおいてZARTSはDARTSがスイッチバック接続の優位性などにより失敗する問題を克服し、優れた安定性を示した。
• ZARTSとMergeNASを統合したMergeZARTSは、CIFAR-10で97.81%のSOTA精度を達成し、探索コストはたった0.5 GPU日であった。
• P-DARTS（P-ZARTS）およびGZAS（GZAS）と統合することで、性能がさらに向上し、メモリ使用量も削減され、複雑なタスクにおける効率的な探索が可能になった。