[论文解读] Differentiable Architecture Search with Ensemble Gumbel-Softmax

Jianlong Chang, Xinbang Zhang+4 more|arXiv (Cornell University)|May 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 11

一句话总结

本文提出 DARTS-EGS，一种可微神经架构搜索方法，通过使用集成 Gumbel-Softmax 估计器，实现在多种前馈网络和循环网络上的端到端、高效架构搜索。通过使用二进制编码表示架构，并利用可微采样，该方法在图像分类和语言建模任务上均达到最先进性能，同时保持了高效的搜索效率。

ABSTRACT

For network architecture search (NAS), it is crucial but challenging to simultaneously guarantee both effectiveness and efficiency. Towards achieving this goal, we develop a differentiable NAS solution, where the search space includes arbitrary feed-forward network consisting of the predefined number of connections. Benefiting from a proposed ensemble Gumbel-Softmax estimator, our method optimizes both the architecture of a deep network and its parameters in the same round of backward propagation, yielding an end-to-end mechanism of searching network architectures. Extensive experiments on a variety of popular datasets strongly evidence that our method is capable of discovering high-performance architectures, while guaranteeing the requisite efficiency during searching.

研究动机与目标

• 为解决神经架构搜索（NAS）中有效性与效率之间的平衡挑战。
• 通过可微搜索实现网络架构与参数的端到端联合优化。
• 将搜索空间扩展至包含具有预定义连接的任意前馈网络，提升架构多样性。
• 开发一种可扩展、高效且可微的架构搜索机制，避免延迟奖励与高计算成本。

提出的方法

• 使用二进制编码表示搜索空间，以编码具有固定连接数和有序节点的任意前馈网络。
• 引入一种集成 Gumbel-Softmax 估计器，实现对离散架构选择的可微采样，替代不可微操作。
• 通过多次 M 次采样提升搜索多样性与性能，同时保持反向传播中的梯度流动。
• 在搜索过程中应用批量归一化，而在评估时禁用以稳定训练。
• 采用标准反向传播机制，在单一优化循环中联合优化架构与权重。
• 通过使用可学习操作和高速公路旁路连接来建模单元，支持卷积与循环架构。

实验结果

研究问题

• RQ1 可微 NAS 方法是否能在保持计算效率的同时，有效探索更大、更丰富的搜索空间？
• RQ2 与传统的策略梯度或强化学习方法相比，集成 Gumbel-Softmax 如何提升架构搜索性能？
• RQ3 所提出方法在不同任务（如图像分类与语言建模）上是否具备良好的泛化能力？
• RQ4 采样次数 M 的增加如何影响搜索性能与模型准确率？
• RQ5 所发现的架构是否在下游任务中具有良好泛化能力，即具备良好的迁移性？

主要发现

• 在 CIFAR-10 上，DARTS-EGS 实现 2.86% 的测试误差，优于 DARTS（3.01%），并创下新 SOTA 记录。
• 在 ImageNet 上，DARTS-EGS 实现 23.5% 的 top-1 错误率，优于 DARTS（24.0%），展现出在大规模分类任务中的强劲性能。
• 在 PTB 语言建模任务上，DARTS-EGS 实现 59.3 的困惑度，优于 DARTS（61.1），表明其在循环架构搜索中的有效性。
• 在 VOC-2012 语义分割任务上，DARTS-EGS 实现 76.8% 的 mIoU，较 DARTS（75.4%）提升 1.4%，表明其在复杂任务中的优异表现。
• 实验表明，增加采样次数 M 可提升性能，证实了更丰富搜索空间的优势。
• 在图像与语言任务上均保持了良好的迁移性，且在 PTB 与 WT2 等数据集上表现出一致的性能增益。