[论文解读] Understanding Architectures Learnt by Cell-based Neural Architecture Search

Yao Shu, Wei Wang+1 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Memory and Neural Computing参考文献 28被引用 60

一句话总结

论文显示流行的基于单元的 NAS 倾向学习宽而浅的单元，这些单元由于损失表面更平滑、梯度方差更低而更快收敛，但并不一定比其他候选者具有更好的泛化能力。

ABSTRACT

Neural architecture search (NAS) searches architectures automatically for given tasks, e.g., image classification and language modeling. Improving the search efficiency and effectiveness have attracted increasing attention in recent years. However, few efforts have been devoted to understanding the generated architectures. In this paper, we first reveal that existing NAS algorithms (e.g., DARTS, ENAS) tend to favor architectures with wide and shallow cell structures. These favorable architectures consistently achieve fast convergence and are consequently selected by NAS algorithms. Our empirical and theoretical study further confirms that their fast convergence derives from their smooth loss landscape and accurate gradient information. Nonetheless, these architectures may not necessarily lead to better generalization performance compared with other candidate architectures in the same search space, and therefore further improvement is possible by revising existing NAS algorithms.

研究动机与目标

• 研究流行的 NAS 算法所学习的架构中的模式。
• 确定 NAS 单元是否共享一个共同的连接模式。
• 解释为何会出现宽而浅的单元以及它们如何影响优化。
• 评估宽/浅单元相对于窄/深单元在泛化性能上的差异。

提出的方法

• 可视化并分析 NASNet、AmoebaNet、ENAS、DARTS、SNAS 的单元拓扑结构。
• 定义单元的宽度和深度；与随机连接变体进行比较。
• 在 CIFAR-10/100 上经验性训练 NAS 架构以研究在不同学习率下的收敛性。
• 通过等高线图和梯度方差度量分析损失景观。
• 使用分块 Lipschitz 平滑性和梯度方差定理提供理论见解。

实验结果

研究问题

• RQ1 NAS 生成的单元在不同架构中是否呈现出共同的连接模式？
• RQ2 为什么在 NAS 搜索中宽而浅的单元更容易收敛？
• RQ3 单元的宽度和深度如何影响损失景观的平滑性和梯度方差？
• RQ4 在不同任务中，宽/浅的 NAS 单元是否比窄/深的单元具有更好的泛化？

主要发现

• 在同一搜索空间中，NAS 架构往往是候选单元中最宽且最浅的。
• 由于损失景观更平滑且梯度方差更低，较宽且较浅的单元收敛更快且更稳定。
• 操作选择对收敛的影响有限，相比之下连接拓扑具有更大影响。
• 宽/浅的单元并不自动在跨任务上具有比窄/深的替代方案更好的泛化。
• 适应最宽/最浅的模式可能产生混合的泛化结果，取决于数据集和架构。