[论文解读] Speedy Performance Estimation for Neural Architecture Search

Binxin Ru, Clare Lyle+4 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 45被引用 13

一句话总结

本文提出训练速度估计（TSE），一种无需模型、计算高效的神经架构泛化性能预测方法，通过测量早期随机梯度下降（SGD）步骤中的训练损失总和来实现。TSE在排序准确率方面优于现有方法，并在基于查询和单次搜索的神经架构搜索（NAS）设置中提升了搜索效率与准确率。

ABSTRACT

Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopped validation accuracy may correlate poorly with fully trained performance, and model-based estimators require large training sets. We instead propose to estimate the final test performance based on a simple measure of training speed. Our estimator is theoretically motivated by the connection between generalisation and training speed, and is also inspired by the reformulation of a PAC-Bayes bound under the Bayesian setting. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate on various NAS search spaces that our estimator consistently outperforms other alternatives in achieving better correlation with the true test performance rankings. We further show that our estimator can be easily incorporated into both query-based and one-shot NAS methods to improve the speed or quality of the search.

研究动机与目标

• 为解决神经架构搜索（NAS）中评估神经架构性能的高计算成本问题，通过使用快速可靠的代理方法替代完整训练。
• 克服早停法、代理模型和参数共享方法的局限性，这些方法通常与最终测试性能的相关性较差。
• 开发一种简单的方法，无需超参数调优或代理模型训练，且与多种NAS范式兼容。
• 建立一个理论基础扎实但实用的估计器，将训练速度与泛化性能联系起来。

提出的方法

• TSE通过在前几轮SGD步骤中对训练损失求和，以此作为训练速度的代理，来估计最终测试性能。
• 该方法受到训练速度与泛化性能之间理论联系的启发，特别是PAC-Bayes界和贝叶斯学习中的梯度方差。
• TSE为无模型方法，无需在部署前训练单独的代理模型或调优超参数。
• 通过在可微分NAS（如DARTS、DrNAS）中用TSE梯度更新替代验证损失梯度，将估计器集成到NAS流水线中。
• 在DARTS-TSE和DrNAS-TSE中，架构参数通过在K=100个mini-batch上计算的TSE估计器的导数进行更新，降低更新频率但保持性能。
• 通过在多个batch上聚合损失梯度，形成稳定估计，避免对早期训练动态的过拟合。

实验结果

研究问题

• RQ1 能否将早期训练步骤中累积训练损失所衡量的训练速度，作为NAS中最终泛化性能的可靠代理？
• RQ2 与早停法、代理模型和零样本估计器等现有性能估计方法相比，TSE在排序相关性方面表现如何？
• RQ3 TSE能否有效集成到基于查询和单次搜索的NAS框架中，以提升搜索速度或架构质量？
• RQ4 TSE是否在无需任务特定调优的情况下，于多样化的搜索空间和数据集上保持强大性能？

主要发现

• 在所有评估的数据集和搜索空间中，TSE与最终测试性能排序的肯德尔等级相关系数（Kendall’s tau）显著高于早停法、SoVL和Tlmini。
• 在CIFAR-10数据集上，TSE在200个epoch时达到0.70（±0.03）的肯德尔等级相关系数，优于SoVL（0.54）和Tlmini（0.62）。
• 在单次NAS中，通过用TSE梯度替换验证损失，TSE将DARTS和DrNAS的最终准确率提升，在CIFAR-10上达到93.55%的测试准确率（200个epoch）。
• 即使训练步数有限，TSE仍保持优异性能，在CIFAR-10上300个epoch时相关系数达0.71，优于所有基线方法。
• 该方法在不同数据集（CIFAR-10、CIFAR-100、ImageNet-1k）和搜索空间（NAS-Bench-101、NAS-Bench-201）中均表现稳健，始终比其他方法更准确地对架构进行排序。
• TSE通过减少对完整训练的需求，显著加快了基于查询的NAS搜索速度，同时保持或提升了最终架构质量。