[论文解读] Angle-based Search Space Shrinking for Neural Architecture Search

Yiming Hu, Yuding Liang+6 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Neural Network Applications参考文献 36被引用 16

一句话总结

本文提出了一种通用且高效的神经架构搜索（NAS）方法——基于角度的搜索空间压缩（ABS），通过一种新颖的角度度量，逐步剔除次优操作，从而提升NAS性能。该度量基于模型权重与其初始化之间的夹角，能够在参数共享的超网络中实现更快、更稳定的子架构排序，从而在CIFAR-10和ImageNet上显著提升多种NAS方法的准确率，且无需修改网络结构。

ABSTRACT

In this work, we present a simple and general search space shrinking method, called Angle-Based search space Shrinking (ABS), for Neural Architecture Search (NAS). Our approach progressively simplifies the original search space by dropping unpromising candidates, thus can reduce difficulties for existing NAS methods to find superior architectures. In particular, we propose an angle-based metric to guide the shrinking process. We provide comprehensive evidences showing that, in weight-sharing supernet, the proposed metric is more stable and accurate than accuracy-based and magnitude-based metrics to predict the capability of child models. We also show that the angle-based metric can converge fast while training supernet, enabling us to get promising shrunk search spaces efficiently. ABS can easily apply to most of NAS approaches (e.g. SPOS, FairNAS, ProxylessNAS, DARTS and PDARTS). Comprehensive experiments show that ABS can dramatically enhance existing NAS approaches by providing a promising shrunk search space.

研究动机与目标

• 解决大规模神经架构搜索空间中计算成本高和优化困难的问题。
• 通过动态压缩搜索空间以聚焦于高潜力架构，提升现有NAS方法的性能。
• 开发一种通用且即插即用的改进方法，无需算法重实现即可增强多种NAS算法。
• 提出并验证一种新型基于角度的度量，其在稳定性、收敛速度和子模型能力预测准确性方面优于基于准确率和基于幅值的度量。

提出的方法

• 提出一种基于角度的度量，通过计算最终模型权重向量与初始权重向量之间的余弦夹角来评估模型能力。
• 利用该度量对子架构进行排序，并在超网络的早期训练阶段逐步剔除表现不佳的操作。
• 在候选操作上采用均匀采样方式训练超网络，随后应用基于角度的度量识别并移除低分操作。
• 在多个阶段重复该剪枝过程，直至搜索空间被充分压缩，同时保持高质量架构。
• 将压缩后的搜索空间作为即插即用模块集成到SPOS、FairNAS、ProxylessNAS、DARTS和PDARTS等现有NAS框架中。
• 在所有NAS方法中采用相同的训练与评估协议，以确保公平比较并实现一致的性能提升。

实验结果

研究问题

• RQ1 是否存在一种比基于准确率或基于幅值的度量更稳定高效的角度度量，可用于在参数共享NAS中实现有效的搜索空间压缩？
• RQ2 使用此类度量动态压缩搜索空间是否能在多种NAS算法中带来一致的性能提升？
• RQ3 该基于角度的度量在超网络训练过程中收敛速度如何，能否在早期阶段实现有效剪枝？
• RQ4 经ABS压缩后的搜索空间是否可普遍适用于不同NAS方法，而无需重新训练算法？
• RQ5 与直接使用该度量进行搜索相比，基于角度的度量在最终模型准确率方面提升了多少？

主要发现

• 在MobileNet类搜索空间上，ABS使SPOS的Top-1准确率提升0.64%，而直接使用角度度量仅提升0.19%。
• 在CIFAR-10上，DARTS结合ABS在ImageNet上达到75.59%的Top-1准确率，相比原始DARTS（73.39%）提升2.2%，相比原始论文报告结果提升0.71%。
• PDARTS结合ABS在ImageNet上达到75.89%的Top-1准确率，相比原始PDARTS（75.02%）提升0.87%，相比报告结果提升0.31%。
• 基于角度的度量收敛速度优于基于准确率和基于幅值的度量，可在训练早期实现有效剪枝。
• ABS生成的压缩搜索空间具有通用性，可显著提升包括单次训练和基于梯度的NAS方法在内的多种算法性能。
• 即使在FLOPs受限条件下，于ABS压缩空间中搜索得到的模型仍优于原始空间中的对应模型，证明了其鲁棒性与可扩展性。