[论文解读] iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients

Miao Zhang, Steven W. Su+4 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications被引用 16

一句话总结

iDARTS 提出了一种可微架构搜索方法，利用隐函数定理更精确且高效地计算超梯度，避免依赖展开的优化路径。通过使用随机 Neumann 级数近似，该方法在性能和收敛至驻点方面表现更优，在 NAS-Bench-1Shot1、NAS-Bench-201 和标准 DARTS 搜索空间上均优于基线方法。

ABSTRACT

extit{Differentiable ARchiTecture Search} (DARTS) has recently become the mainstream of neural architecture search (NAS) due to its efficiency and simplicity. With a gradient-based bi-level optimization, DARTS alternately optimizes the inner model weights and the outer architecture parameter in a weight-sharing supernet. A key challenge to the scalability and quality of the learned architectures is the need for differentiating through the inner-loop optimisation. While much has been discussed about several potentially fatal factors in DARTS, the architecture gradient, a.k.a. hypergradient, has received less attention. In this paper, we tackle the hypergradient computation in DARTS based on the implicit function theorem, making it only depends on the obtained solution to the inner-loop optimization and agnostic to the optimization path. To further reduce the computational requirements, we formulate a stochastic hypergradient approximation for differentiable NAS, and theoretically show that the architecture optimization with the proposed method, named iDARTS, is expected to converge to a stationary point. Comprehensive experiments on two NAS benchmark search spaces and the common NAS search space verify the effectiveness of our proposed method. It leads to architectures outperforming, with large margins, those learned by the baseline methods.

研究动机与目标

• 为解决 DARTS 的不稳定性和泛化能力差的问题，通过改进可微架构搜索中的超梯度计算来实现。
• 开发一种基于隐函数定理的内存高效方法，用于计算架构梯度，且独立于内层优化路径。
• 通过 Hessian 逆矩阵的随机 Neumann 级数近似，降低超梯度估计中的计算成本。
• 在损失函数满足温和假设的前提下，理论上证明方法可收敛至驻点。
• 在标准 NAS 基准上实证验证该方法，证明其在性能上优于现有 DARTS 变体。

提出的方法

• 将 DARTS 重新表述为双层优化问题，通过隐函数定理计算超梯度，以更新架构参数。
• 利用隐函数定理将超梯度表示为最终内层权重的函数，从而消除对优化轨迹的依赖。
• 应用 Neumann 级数近似超梯度计算中的 Hessian 逆矩阵，避免显式矩阵求逆。
• 引入基于 Neumann 级数的超梯度的随机近似，以降低计算成本，同时保持精度。
• 在 Neumann 级数中截断至 K 项，以在近似质量与效率之间取得平衡。
• 理论分析表明，在损失函数和学习率的标准假设下，方法可收敛至驻点。

实验结果

研究问题

• RQ1 通过利用隐函数定理而非展开方式，能否改进可微 NAS 中的超梯度计算？
• RQ2 基于 Neumann 级数的 Hessian 逆近似是否能带来更稳定且高效的架构搜索？
• RQ3 隐式超梯度的随机变体能否在降低计算成本的同时保持性能？
• RQ4 在损失函数满足温和假设的前提下，所提方法是否能收敛至驻点？
• RQ5 在多个 NAS 基准上，iDARTS 与现有 DARTS 变体相比，在准确率和泛化能力方面表现如何？

主要发现

• iDARTS 在 NAS-Bench-1Shot1 上实现了最先进性能，显著优于基线方法。
• 在 NAS-Bench-201 上，iDARTS 发现的架构在 CIFAR-10 和 CIFAR-100 上均超越了 DARTS 及其变体。
• 该方法展现出强大的可迁移性，在将 CIFAR-10 上发现的架构迁移到 ImageNet 时，仍能获得高准确率。
• 随机 Neumann 近似实现了高效训练，显著降低内存与计算成本，同时保持高质量的架构搜索。
• 理论分析证实，在标准假设下，iDARTS 有望收敛至驻点，提供了坚实的理论基础。
• 实证结果表明，iDARTS 有效缓解了 DARTS 中观察到的不稳定性问题，如尖锐的损失景观和离散化后的泛化能力差。