[论文解读] EDAS: Efficient and Differentiable Architecture Search

Hyeong Gwon Hong, Pyunghwan Ahn+1 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Neural Network Applications参考文献 21被引用 4

一句话总结

EDAS 提出了一种可微架构搜索方法，该方法在每次迭代中仅对一条边进行松弛，从而保留离散架构的行为并消除剪枝后的性能下降。通过最小化松弛程度同时支持更深的网络，EDAS 仅用 0.125 GPU 天即在 CIFAR-10、CIFAR-100 和 ImageNet 上实现了最先进性能，显著降低了搜索成本，优于 DARTS 和 P-DARTS。

ABSTRACT

Transferrable neural architecture search can be viewed as a binary optimization problem where a single optimal path should be selected among candidate paths in each edge within the repeated cell block of the directed a cyclic graph form. Recently, the field of differentiable architecture search attempts to relax the search problem continuously using a one-shot network that combines all the candidate paths in search space. However, when the one-shot network is pruned to the model in the discrete architecture space by the derivation algorithm, performance is significantly degraded to an almost random estimator. To reduce the quantization error from the heavy use of relaxation, we only sample a single edge to relax the corresponding variable and clamp variables in the other edges to zero or one. By this method, there is no performance drop after pruning the one-shot network by derivation algorithm, due to the preservation of the discrete nature of optimization variables during the search. Furthermore, the minimization of relaxation degree allows searching in a deeper network to discover better performance with remarkable search cost reduction (0.125 GPU days) compared to previous methods. By adding several regularization methods that help explore within the search space, we could obtain the network with notable performances on CIFAR-10, CIFAR-100, and ImageNet.

研究动机与目标

• 解决因一次训练的超参数网络过度参数化以及剪枝后量化误差导致的可微架构搜索性能下降问题。
• 在保持或提升准确率的前提下，降低与现有单次训练可微 NAS 方法相比的搜索成本。
• 通过在训练过程中动态调整架构参数排名，改善搜索空间的探索能力。
• 通过缓解内存和优化挑战，使深层网络中的有效架构搜索成为可能。

提出的方法

• EDAS 每轮迭代仅对一条边进行松弛，其余所有边均被夹紧，基于架构参数最高的操作执行单次运算。
• 架构参数通过梯度下降更新，但仅被选中的边被松弛，其余部分网络保持离散行为。
• 在早期训练阶段应用符号反转策略（EDAS-inv），以公平分配候选操作的学习经验，提升探索能力。
• 应用正则化技术以增强搜索空间探索，防止过早收敛。
• 单次网络端到端训练，最终架构通过为每条边选择架构参数最高的操作获得。
• 通过限制每条边的计算量，避免深度差距问题，实现向更深架构的可扩展性。

实验结果

研究问题

• RQ1 一种可微架构搜索方法是否能通过避免过度参数化和量化误差，在剪枝后仍保持高性能？
• RQ2 每次迭代仅松弛单条边与 DARTS 中的完全松弛相比，对搜索效率和最终架构质量有何影响？
• RQ3 通过动态调整架构参数排名来改进搜索空间探索，是否能带来更好的性能表现？
• RQ4 降低松弛程度是否允许在计算成本极低的前提下，对深层网络架构进行有效搜索？
• RQ5 所提出的方法是否能在多个基准数据集（CIFAR-10、CIFAR-100、ImageNet）上实现最先进性能，且搜索成本低于 0.125 GPU 天？

主要发现

• 在 CIFAR-10 上，EDAS 实现了 97.32% 的测试准确率，显著优于 DARTS（97.12%）和 P-DARTS（97.25%），且搜索成本大幅降低。
• 在 CIFAR-100 上，EDAS 达到 90.68% 的 top-1 准确率，证明其在更复杂数据集上的有效性，而此前方法未见性能提升。
• 搜索成本降低至 0.125 GPU 天，约为 DARTS 成本的 1/12，使新任务的快速架构发现成为可能。
• EDAS-inv（早期阶段采用符号反转的改进版本）展现出更优的探索能力和更高性能，表明其搜索动态更优。
• EDAS 所得架构在训练周期内表现出持续的准确率提升，证实了该算法具备有效的搜索能力。
• EDAS 中的架构参数排名在训练过程中动态变化，与 α-max 中排名早期即稳定不同，表明其具有更优越的探索能力。