[论文解读] Balanced One-shot Neural Architecture Optimization

Renqian Luo, Tao Qin+1 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Neural Network Applications参考文献 21被引用 9

一句话总结

本文提出了一种平衡的一次性神经架构优化方法（Balanced NAO），通过在超网络训练过程中按模型大小成比例地采样架构，以在不同大小的架构之间实现更均衡的优化，从而改进一次性神经架构搜索。该方法显著提升了一次性训练与完整训练之间的排名相关性，实现了更准确、更稳定的架构发现——在CIFAR-10上达到2.60%的测试误差，在移动设置下的ImageNet上达到74.4%的top-1准确率。

ABSTRACT

The ability to rank candidate architectures is the key to the performance of neural architecture search~(NAS). One-shot NAS is proposed to reduce the expense but shows inferior performance against conventional NAS and is not adequately stable. We investigate into this and find that the ranking correlation between architectures under one-shot training and the ones under stand-alone full training is poor, which misleads the algorithm to discover better architectures. Further, we show that the training of architectures of different sizes under the current one-shot method is imbalanced, which causes the evaluated performances of the architectures to be less predictable of their ground-truth performances and affects the ranking correlation heavily. Consequently, we propose Balanced NAO where we introduce balanced training of the supernet during the search procedure to encourage more updates for large architectures than small architectures by sampling architectures in proportion to their model sizes. Comprehensive experiments verify that our proposed method is effective and robust which leads to a more stable search. The final discovered architecture shows significant improvements against baselines with a test error rate of 2.60\% on CIFAR-10 and top-1 accuracy of 74.4% on ImageNet under the mobile setting. Code and model checkpoints will be publicly available. The code is available at github.com/renqianluo/NAO_pytorch.

研究动机与目标

• 为解决现有一次性NAS方法相较于传统NAS方法性能差且不稳定的问题。
• 探究为何一次性NAS无法保持一次性训练与完整训练评估之间的排名相关性。
• 识别出训练不平衡——即小模型相对于大模型被过度优化——会损害排名保真度。
• 提出一种平衡的训练策略，通过按模型大小成比例采样架构，提升排名相关性和搜索稳定性。
• 证明成比例采样可提升泛化能力，并在CIFAR-10和ImageNet等基准数据集上取得更优性能。

提出的方法

• 在超网络训练过程中引入成比例采样，即采样某个架构的概率与其模型大小成正比。
• 修改一次性NAS的训练流程，确保大模型相对于其大小能获得更多的训练更新，从而减少优化不平衡。
• 保持标准的超网络架构，所有候选架构共享权重。
• 采用与基线一次性NAS方法相同的搜索与评估协议，仅在采样策略上有所不同。
• 以固定步数训练超网络，利用一次性性能对候选架构进行排序并选择。
• 将最终发现的架构以与DARTS相同的训练协议迁移到ImageNet上，以保证公平比较。

实验结果

研究问题

• RQ1 为何现有一次性NAS方法在降低训练成本的前提下仍无法发现高性能架构？
• RQ2 在不同大小的架构之间优化不平衡的程度，会多大程度上降低一次性训练与完整训练之间的排名相关性？
• RQ3 基于模型大小的成比例采样能否提升一次性NAS中的排名相关性和搜索稳定性？
• RQ4 通过平衡采样发现的架构在CIFAR-10和ImageNet上的性能，与传统NAS及其他一次性方法相比如何？
• RQ5 所提出的方法在迁移到ImageNet等大规模数据集时是否仍保持强泛化能力？

主要发现

• 在成比例采样下，一次性训练与完整训练性能之间的排名相关性显著提升，相较于均匀采样，成对准确率提高了超过10个百分点。
• 所提出的Balanced NAO在CIFAR-10上实现了2.60%的测试误差率，优于基线一次性NAS方法，并与传统NAS方法性能相当。
• 在移动设置下的ImageNet上，所发现的架构达到了74.4%的top-1准确率，超过人工设计的模型，且与最先进NAS方法持平。
• 该方法表现出优越的稳定性，五次独立搜索得到的架构平均测试误差率为2.67%，表明方差低且性能一致。
• 性能提升归因于优化的平衡性，因为成比例采样减少了小模型的过拟合，提升了一次性评估的代表性。
• 该方法在显著降低搜索成本的同时，性能与传统NAS相当或更优，且优于其他一次性NAS方法。