[論文レビュー] iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients

Miao Zhang, Steven W. Su+4 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications被引用数 16

ひとこと要約

iDARTS は、非線形関数定理を用いてハイパーグラディエントをより正確かつ効率的に計算することで、アンラップド最適化パスに依存しない、微分可能アーキテクチャ探索手法を提案する。確率的ネウマン級数近似を用いることで、定常点への収束性と優れた性能を達成し、NAS-Bench-1Shot1、NAS-Bench-201、および標準的な DARTS 探索空間において、ベースライン手法を上回る性能を発揮する。

ABSTRACT

extit{Differentiable ARchiTecture Search} (DARTS) has recently become the mainstream of neural architecture search (NAS) due to its efficiency and simplicity. With a gradient-based bi-level optimization, DARTS alternately optimizes the inner model weights and the outer architecture parameter in a weight-sharing supernet. A key challenge to the scalability and quality of the learned architectures is the need for differentiating through the inner-loop optimisation. While much has been discussed about several potentially fatal factors in DARTS, the architecture gradient, a.k.a. hypergradient, has received less attention. In this paper, we tackle the hypergradient computation in DARTS based on the implicit function theorem, making it only depends on the obtained solution to the inner-loop optimization and agnostic to the optimization path. To further reduce the computational requirements, we formulate a stochastic hypergradient approximation for differentiable NAS, and theoretically show that the architecture optimization with the proposed method, named iDARTS, is expected to converge to a stationary point. Comprehensive experiments on two NAS benchmark search spaces and the common NAS search space verify the effectiveness of our proposed method. It leads to architectures outperforming, with large margins, those learned by the baseline methods.

研究の動機と目的

• 微分可能アーキテクチャ探索におけるハイパーグラディエント計算の改善を通じて、DARTS の不安定性と一般化性能の低さを是正すること。
• 内側ループの最適化経路に依存しない、メモリ効率の良いアーキテクチャ勾配計算手法の開発。
• ハイパーグラディエント推定におけるヘッセ行列の逆行列の確率的ネウマン級数近似を用いることで、計算コストを低減すること。
• 損失関数に関するやや弱い仮定の下で、定常点への収束を理論的に正当化すること。
• 標準的なNASベンチマーク上での実験的妥当性を検証し、既存の DARTS 変種と比較して優れた性能を示すこと。

提案手法

• DARTS を二段階最適化問題として再定式化し、アーキテクチャパラメータを暗黙関数定理を用いて更新することでハイパーグラディエントを計算する。
• 暗黙関数定理を用いて、最終的な内側ループ重みに依存するハイパーグラディエントを表現し、最適化経路への依存性を排除する。
• ハイパーグラディエント計算におけるヘッセ行列の逆行列を近似するためにネウマン級数を適用し、明示的な行列逆算を回避する。
• 計算コストを低減しつつ精度を維持するため、ネウマン級数に基づくハイパーグラディエントの確率的近似を導入する。
• 近似品質と効率のバランスを図るため、ネウマン級数の和を K 項まで切り詰める。
• 理論的分析により、損失関数と学習率に関する標準的仮定の下で、定常点への収束が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 アンラップド最適化に代えて、暗黙関数定理を活用することで、微分可能NASにおけるハイパーグラディエント計算を改善できるか？
• RQ2 ヘッセ行列の逆行列のネウマン級数近似は、より安定的かつ効率的なアーキテクチャ探索を可能にするか？
• RQ3 暗黙ハイパーグラディエントの確率的バージョンは、計算コストを削減しつつも性能を維持できるか？
• RQ4 提案手法は、損失関数に関するやや弱い仮定の下で定常点への収束を示すか？
• RQ5 複数のNASベンチマークにおいて、iDARTS は既存の DARTS 変種と比較して、精度と一般化性能で優れているか？

主な発見

• iDARTS は NAS-Bench-1Shot1 で最先端の性能を達成し、ベースライン手法を大きく上回る。
• NAS-Bench-201 では、DARTS やその変種を上回る性能を示すアーキテクチャを発見し、特に CIFAR-10 および CIFAR-100 で顕著な優位性を示す。
• 本手法は優れた転送性を示し、CIFAR-10 で発見されたアーキテクチャを ImageNet に転送することで高い精度を達成する。
• 確率的ネウマン近似により、メモリと計算コストを削減しつつも、高品質なアーキテクチャ探索を実現する。
• 理論的分析により、iDARTS が標準的仮定の下で定常点への収束が期待され、しっかりとした理論的基盤を有することが確認された。
• 実験的結果から、iDARTS は DARTS で観察される不安定性（急激な損失関数の変化や離散化後の一般化性能の低下）を緩和することが示された。