[论文解读] SGAS: Sequential Greedy Architecture Search

Guohao Li, Guocheng Qian+4 more|arXiv (Cornell University)|Nov 30, 2019

Machine Learning in Materials Science参考文献 67被引用 12

一句话总结

SGAS 提出了一种顺序贪心架构搜索方法，通过使用启发式准则——边重要性、选择确定性与稳定性——在贪心的双层优化过程中引导架构搜索，从而提升泛化性能。该方法在图像分类（CIFAR-10、ImageNet）、3D点云分类（ModelNet40）以及节点分类（PPI）任务上均取得了最先进性能，计算成本极低，优于手工设计模型与随机搜索方法，且在单张GPU上搜索时间缩短至4分钟以内。

ABSTRACT

Architecture design has become a crucial component of successful deep learning. Recent progress in automatic neural architecture search (NAS) shows a lot of promise. However, discovered architectures often fail to generalize in the final evaluation. Architectures with a higher validation accuracy during the search phase may perform worse in the evaluation. Aiming to alleviate this common issue, we introduce sequential greedy architecture search (SGAS), an efficient method for neural architecture search. By dividing the search procedure into sub-problems, SGAS chooses and prunes candidate operations in a greedy fashion. We apply SGAS to search architectures for Convolutional Neural Networks (CNN) and Graph Convolutional Networks (GCN). Extensive experiments show that SGAS is able to find state-of-the-art architectures for tasks such as image classification, point cloud classification and node classification in protein-protein interaction graphs with minimal computational cost. Please visit https://www.deepgcns.org/auto/sgas for more information about SGAS.

研究动机与目标

• 为解决神经架构搜索（NAS）中常见问题：即在搜索阶段验证准确率高的架构在最终评估时泛化能力差。
• 在保持或提升多样任务性能的前提下，降低架构搜索的计算成本。
• 开发一种方法，使搜索阶段的验证准确率与最终评估准确率更紧密相关，从而最小化搜索-评估准确率差异。
• 实现对卷积神经网络（CNNs）与图卷积网络（GCNs）在多个数据集和任务上的高效架构搜索。

提出的方法

• SGAS 将架构搜索问题分解为一系列顺序子问题，通过迭代选择并剪枝操作，基于启发式准则进行贪心求解。
• 该方法使用三个关键准则：边重要性（每个操作对性能的贡献程度）、选择确定性（选择的置信度）与选择稳定性（在多次搜索运行中的一致性）。
• 这些准则被用于引导双层优化框架中的搜索过程，其中架构基于验证性能进行优化，同时保持计算效率。
• 搜索在基于单元的搜索空间中进行，所发现的单元被堆叠以形成最终架构用于评估。
• 该方法避免使用昂贵的强化学习或可微分搜索，转而依赖高效、贪心的选择策略，且仅需极少超参数调优。
• SGAS 被应用于CNN（在CIFAR-10、ImageNet上）与GCN（在ModelNet40、PPI上），在各类任务中均表现出一致的性能提升。

实验结果

研究问题

• RQ1 贪心架构搜索方法能否降低搜索阶段验证准确率与最终评估准确率之间的差异？
• RQ2 基于启发式、非可微分的搜索方法能否以显著低于现有NAS方法的计算成本实现最先进性能？
• RQ3 使用边重要性、选择确定性与选择稳定性是否能提升所搜索架构的可靠性与泛化能力？
• RQ4 SGAS能否在多种基准上有效搜索出CNN与GCN设置下的高性能架构？

主要发现

• SGAS 在CIFAR-10与ImageNet上发现的架构实现了最先进准确率，仅消耗0.003 GPU天的搜索成本，显著低于先前方法。
• 在ModelNet40上的3D点云分类任务中，最佳SGAS架构（Cri.2 best）达到94.8%准确率，优于所有手工设计模型与随机搜索基线。
• 在PPI数据集的节点分类任务中，SGAS（Cri.2 best）实现99.46%的micro-F1分数，较SOTA方法DenseMRGCN-14高出0.03%，且参数量减少3024万。
• SGAS在PPI上的平均性能（Cri.2 avg.）为99.40% ± 0.09，优于基线随机搜索与SGAS（Cri.1 avg.），表明Criterion 2提升了稳定性。
• SGAS在PPI上的小型模型仅用0.40M参数即达到98.89%的micro-F1，展现出高效性与可扩展性。
• SGAS表现出搜索阶段验证准确率与最终评估准确率之间的强相关性，显著缩小了如DARTS等方法中常见的‘搜索-评估差距’。