[论文解读] A Novel Training Protocol for Performance Predictors of Evolutionary Neural Architecture Search Algorithms

Yanan Sun, Xian Sun+2 more|arXiv (Cornell University)|Aug 30, 2020

Machine Learning and Data Classification参考文献 46被引用 4

一句话总结

本文提出了一种用于进化神经架构搜索（ENAS）中性能预测器的新型训练协议，通过使用成对排序指标作为目标、逻辑回归进行建模，并采用基于差值的训练样本以避免数据不平衡，从而提升了预测准确性。实验表明，在CIFAR10-CNN上平均提升16.97%，在CIFAR100-CNN上平均提升7.49%，显著优于传统协议。

ABSTRACT

Evolutionary Neural Architecture Search (ENAS) can automatically design the architectures of Deep Neural Networks (DNNs) using evolutionary computation algorithms. However, most ENAS algorithms require intensive computational resource, which is not necessarily available to the users interested. Performance predictors are a type of regression models which can assist to accomplish the search, while without exerting much computational resource. Despite various performance predictors have been designed, they employ the same training protocol to build the regression models: 1) sampling a set of DNNs with performance as the training dataset, 2) training the model with the mean square error criterion, and 3) predicting the performance of DNNs newly generated during the ENAS. In this paper, we point out that the three steps constituting the training protocol are not well though-out through intuitive and illustrative examples. Furthermore, we propose a new training protocol to address these issues, consisting of designing a pairwise ranking indicator to construct the training target, proposing to use the logistic regression to fit the training samples, and developing a differential method to building the training instances. To verify the effectiveness of the proposed training protocol, four widely used regression models in the field of machine learning have been chosen to perform the comparisons on two benchmark datasets. The experimental results of all the comparisons demonstrate that the proposed training protocol can significantly improve the performance prediction accuracy against the traditional training protocols.

研究动机与目标

• 解决传统训练协议在进化神经架构搜索（ENAS）中性能预测器方面效率低下和准确性不足的问题。
• 识别传统方法中使用均方误差与原始性能值、独立样本的缺陷，表明其在基于排序的预测任务中并非最优。
• 开发一种新的训练协议，使其更契合现实世界ENAS应用场景，其中相对性能排序比绝对值预测更为关键。
• 通过解决回归任务中的数据不平衡和建模复杂性问题，提升性能预测器的泛化能力和鲁棒性。

提出的方法

• 提出以成对排序指标作为训练目标，捕捉深度神经网络（DNN）架构之间的相对性能，而非绝对值。
• 用逻辑回归替代传统线性回归，以建模一个架构优于另一个架构的概率，从而提升排序保真度。
• 将训练样本构建为DNN架构对之间的差异，自然平衡正负样本，减少数据不平衡问题。
• 将上述三个组件整合为统一的训练协议，以增强性能预测器的模型泛化能力和预测准确性。
• 在两个基准数据集上，将该协议应用于四种标准回归模型（SVM、GBDT、DTree、RForest），以验证其有效性。
• 通过消融研究隔离并评估每个组件的贡献，特别是前两个组件之间的相互依赖性。

实验结果

研究问题

• RQ1 与基于均方误差的传统回归方法相比，使用成对排序指标作为训练目标，对ENAS预测器性能预测准确性有何影响？
• RQ2 将线性回归替换为逻辑回归，在多大程度上提升了ENAS中性能预测器的排序能力？
• RQ3 将训练样本构建为DNN架构对之间的差异，是否能缓解数据不平衡问题并增强预测器的泛化能力？
• RQ4 所提出的训练协议中，哪些组件对性能提升贡献最大，它们之间如何相互作用？

主要发现

• 所提出的训练协议显著提升了预测准确性，在CIFAR10-CNN基准上相比传统协议平均提升16.97%。
• 在CIFAR100-CNN基准上，该协议相比传统协议实现7.49%的平均提升，表明在不同数据集上均具有一致性优势。
• 当禁用前两个组件（成对排序指标与逻辑回归）时，性能急剧下降——CIFAR10-CNN上下降16.97%，CIFAR100-CNN上下降7.49%，表明其关键作用。
• 仅禁用第三个组件（基于差值的样本）时，性能下降较小——CIFAR10-CNN上仅下降2.75%，CIFAR100-CNN上下降1.17%，表明其贡献较小但仍有益。
• 消融研究证实，前两个组件具有强相互依赖性，无法独立有效运作，凸显其协同作用。
• 该协议在两个基准数据集上，对所有四种回归模型（SVM、GBDT、DTree、RForest）均持续优于传统协议。