[论文解读] Core-set Sampling for Efficient Neural Architecture Search

Jae-hun Shim, Kyeongbo Kong+1 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 48被引用 11

一句话总结

本文提出核心集采样方法以实现高效的神经架构搜索（NAS），通过选取能保持原始数据分布的代表性训练数据子集。在感知有意义的嵌入空间（如Inceptionv3特征）上应用贪心k中心算法，使搜索时间减少8.8倍（在单张RTX 3090 GPU上由30.8小时降至3.5小时），同时保持与全数据集搜索相当的准确率。

ABSTRACT

Neural architecture search (NAS), an important branch of automatic machine learning, has become an effective approach to automate the design of deep learning models. However, the major issue in NAS is how to reduce the large search time imposed by the heavy computational burden. While most recent approaches focus on pruning redundant sets or developing new search methodologies, this paper attempts to formulate the problem based on the data curation manner. Our key strategy is to search the architecture using summarized data distribution, i.e., core-set. Typically, many NAS algorithms separate searching and training stages, and the proposed core-set methodology is only used in search stage, thus their performance degradation can be minimized. In our experiments, we were able to save overall computational time from 30.8 hours to 3.5 hours, 8.8x reduction, on a single RTX 3090 GPU without sacrificing accuracy.

研究动机与目标

• 在不牺牲模型准确率的前提下，降低神经架构搜索（NAS）的高计算成本。
• 通过选择能保持数据分布的代表性子集，解决NAS中随机数据采样效率低下的问题。
• 探究基于数据分布模仿的核心集选择方法是否能在NAS中优于随机采样或迁移学习。
• 证明通过核心集选择进行数据整理，是搜索阶段替代全数据集训练的一种可行且高效的方法。
• 确立核心集采样作为NAS领域的新范式，区别于参数共享或代理数据集迁移方法。

提出的方法

• 使用预训练模型（如Inceptionv3、ResNet50、Places365、SwAV）将输入图像投影到高层嵌入空间，以提取具有感知意义的特征。
• 应用贪心k中心算法，选择能最小化任意数据点到其最近中心距离的核心集样本，确保覆盖数据流形。
• 将嵌入特征之间的欧氏距离作为核心集选择的相似性度量。
• 在搜索阶段仅对核心集执行NAS，而最终架构在全量数据集上重新训练。
• 选择在多个评估指标上表现最佳的核心集性能的嵌入模型（如ImageNet上的Inceptionv3），作为最终选择。
• 通过调节选择比例（如2%、5%、10%）优化搜索时间最小化与性能保真度最大化之间的平衡。

实验结果

研究问题

• RQ1 基于数据分布模仿的核心集选择能否显著减少NAS搜索时间，且不降低最终模型的准确率？
• RQ2 在搜索效率和最终准确率方面，核心集采样与随机采样及迁移学习（如在CIFAR-10上搜索后迁移到Tiny-ImageNet）相比如何？
• RQ3 在目标数据集上，哪种预训练嵌入模型（如Inceptionv3、ResNet50、SwAV）能生成最有效的核心集用于NAS？
• RQ4 为在搜索速度与性能之间取得最佳平衡，核心集采样的最优选择比例是多少（如2%、5%、10%）？
• RQ5 核心集选择能否在不同NAS框架中实现泛化，尤其是那些将搜索与训练阶段解耦的框架？

主要发现

• 核心集采样将单张RTX 3090 GPU上的NAS搜索时间从30.8小时减少至3.5小时，实现8.8倍加速，且准确率无显著下降。
• 使用10%核心集数据搜索的模型，其测试准确率与全数据集训练模型相比仅低0.15%，表现出极高的保真度。
• 使用Inceptionv3嵌入的核心集选择优于其他嵌入方法（ResNet50、Places365、SwAV），在10%比例下比随机采样高出2.1%的准确率。
• 在所有选择比例（2%、5%、10%）下，核心集选择在测试准确率上始终优于随机采样，最高提升达2.07%。
• 在Tiny-ImageNet上，该方法在所有对比NAS方法中取得了最高的测试准确率（84.2%），优于使用CIFAR-10进行搜索的迁移学习基线方法。
• 核心集选择比迁移学习更有效，在仅0.15 GPU天的搜索时间内即达到更高准确率，显著低于先前工作的计算成本。