[论文解读] Learnable Embedding Space for Efficient Neural Architecture Compression
本文提出了一种可学习的嵌入空间，用于神经架构搜索（NAS），通过贝叶斯优化实现高效、数据驱动的架构选择。通过学习架构的紧凑且可迁移的表示，该方法在压缩模型搜索中优于随机搜索、强化学习以及最先进的手工设计模型（如ShuffleNet），实现了更优的准确率-准确率权衡。
We propose a method to incrementally learn an embedding space over the domain of network architectures, to enable the careful selection of architectures for evaluation during compressed architecture search. Given a teacher network, we search for a compressed network architecture by using Bayesian Optimization (BO) with a kernel function defined over our proposed embedding space to select architectures for evaluation. We demonstrate that our search algorithm can significantly outperform various baseline methods, such as random search and reinforcement learning (Ashok et al., 2018). The compressed architectures found by our method are also better than the state-of-the-art manually-designed compact architecture ShuffleNet (Zhang et al., 2018). We also demonstrate that the learned embedding space can be transferred to new settings for architecture search, such as a larger teacher network or a teacher network in a different architecture family, without any training. Code is publicly available here: this https URL .
研究动机与目标
- 为解决现有神经架构搜索方法在探索压缩模型庞大搜索空间时的低效问题。
- 开发一种紧凑且可学习的神经架构表示，以捕捉架构的结构与性能相关关系。
- 实现在无需重新训练的情况下，跨不同教师网络的可迁移架构搜索。
- 通过在可学习嵌入空间上使用基于核函数的贝叶斯优化，提升搜索效率与模型性能。
提出的方法
- 该方法使用可微的架构编码机制，学习神经架构表示的连续、低维嵌入空间。
- 在学习到的嵌入空间上定义核函数，以指导贝叶斯优化选择具有前景的架构进行评估。
- 贝叶斯优化利用该核函数建模准确率与架构之间的关系，并选择具有高期望改进的架构。
- 嵌入空间在教师网络上进行训练，可直接迁移至使用不同教师模型的新搜索任务。
- 该方法通过基于嵌入的获取函数聚焦于最有希望的候选架构进行评估，避免了对所有候选架构进行昂贵的训练。
实验结果
研究问题
- RQ1可学习的嵌入空间是否能提升压缩模型神经架构搜索的效率与性能？
- RQ2所学习的嵌入在不同教师网络和架构族之间是否具有良好泛化能力？
- RQ3基于嵌入的搜索能否在准确率和样本效率方面优于随机搜索与强化学习？
- RQ4该嵌入空间在无需重新训练的情况下，能在多大程度上迁移到新的搜索设置？
主要发现
- 所提出的方法在架构搜索过程中，无论在准确率还是样本效率方面，均显著优于随机搜索与强化学习。
- 所发现的压缩架构在准确率上优于最先进的手工设计架构ShuffleNet。
- 所学习的嵌入空间可直接迁移至新搜索任务，包括更大的教师网络和不同的架构族，且无需任何额外训练。
- 该方法通过更少的评估次数实现更优性能，表明其在搜索过程中具有极高的样本效率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。