[论文解读] Hierarchical Neural Architecture Search via Operator Clustering

Guilin Li, Xing Zhang+5 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Neural Network Applications参考文献 27被引用 10

一句话总结

该论文提出 StacNAS，一种分层神经架构搜索方法，通过聚类相关操作符并匹配代理与最终训练阶段之间的优化复杂度，改进了 DARTS。通过解决操作符相关性及深度/复杂度不匹配问题，StacNAS 在 CIFAR-10（2.33% 错误率）、CIFAR-100 和 ImageNet（24.17% top-1 错误率）上实现了最先进性能，优于各类 DARTS 类方法，且在多种搜索空间中表现优异。

ABSTRACT

Recently, the efficiency of automatic neural architecture design has been significantly improved by gradient-based search methods such as DARTS. However, recent literature has brought doubt to the generalization ability of DARTS, arguing that DARTS performs poorly when the search space is changed, i.e, when different set of candidate operators are used. Regularization techniques such as early stopping have been proposed to partially solve this problem. In this paper, we tackle this problem from a different perspective by identifying two contributing factors to the collapse of DARTS when the search space changes: (1) the correlation of similar operators incurs unfavorable competition among them and makes their relative importance score unreliable and (2) the optimization complexity gap between the proxy search stage and the final training. Based on these findings, we propose a new hierarchical search algorithm. With its operator clustering and optimization complexity match, the algorithm can consistently find high-performance architecture across various search spaces. For all the five variants of the popular cell-based search spaces, the proposed algorithm always obtains state-of-the-art architecture with best accuracy on the CIFAR-10, CIFAR-100 and ImageNet over other well-established DARTS-alike algorithms. Code is available at https://github.com/susan0199/StacNAS.

研究动机与目标

• 为解决 DARTS 在不同搜索空间中泛化失败的问题，特别是当候选操作符存在相关性或代理与最终训练阶段优化复杂度不一致时。
• 解决由高度相关操作符（如 3×3 和 5×5 分离卷积）之间不利竞争引起的架构搜索不稳定性。
• 通过对齐代理搜索阶段与最终模型训练阶段的优化复杂度，提升架构搜索的可靠性。
• 开发一种分层搜索框架，首先选择最优操作符组，再在每组内选择最佳操作符，从而提升搜索稳定性与性能。

提出的方法

• 提出两阶段分层搜索：首先基于特征图相关性（使用展平后特征图的皮尔逊相关系数）对相似操作符进行聚类，然后在每类中选择最优操作符。
• 引入操作符聚类以缓解高度相关操作符之间的不利竞争，确保更可靠的架构参数估计。
• 采用梯度混淆技术来度量并匹配代理搜索网络与最终训练网络之间的优化复杂度，确保在不同深度下跳连选择的一致性。
• 在代理搜索阶段采用与最终训练深度相匹配的深度/宽度配置，以防止跳连的过度或不足选择。
• 应用可微搜索框架，其中架构参数通过随机梯度下降进行优化，但引入分组操作符以稳定训练过程。
• 在基于细胞的多种搜索空间变体上验证方法，并在 CIFAR-10、CIFAR-100 和 ImageNet 上进行基准测试。

实验结果

研究问题

• RQ1 超网络中操作符的相关性如何影响可微 NAS 中架构参数估计的可靠性？
• RQ2 为何 DARTS 在操作符类型变化时无法在不同搜索空间配置中实现泛化？
• RQ3 代理与最终训练阶段之间的优化复杂度差距在多大程度上扭曲了架构搜索结果？
• RQ4 分层操作符聚类与复杂度匹配能否提升可微 NAS 在多样化搜索空间中的稳定性与泛化能力？
• RQ5 学习到的架构参数 α 与实际性能的相关性如何？是否可通过结构修改进一步提升？

主要发现

• StacNAS 在 CIFAR-10 上实现 2.33% 的测试错误率，优于所有 DARTS 类方法，在原始基于细胞的搜索空间中创下新 SOTA 记录。
• 在 ImageNet（移动端设置）上，StacNAS 在标准训练下实现 24.17% 的 top-1 错误率，在 AutoAugmentation 下达到 23.12%，均为最先进结果。
• 在 CIFAR-10 的五种基于细胞的搜索空间变体中，该方法始终优于 DARTS、CARS、PC-DARTS 和 DARTS-ES。
• 学习到的架构参数（α）与实际性能的相关性从 DARTS 中的 0.2 提升至 StacNAS 中的 0.9，表明架构搜索更加可信与可靠。
• 消融实验表明，操作符聚类与复杂度匹配均对性能有显著贡献，完整方法相比基线 DARTS 将错误率降低超过 0.5%。
• 该方法对第一阶段操作符选择具有鲁棒性，即使从聚类中随机采样操作符，仍能获得优异性能（错误率为 2.53%），表明对初始聚类代表的敏感度较低。