[论文解读] Generalization Guarantees for Neural Architecture Search with Train-Validation Split

Samet Oymak, Mingchen Li+1 more|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 79被引用 5

一句话总结

本文针对在过参数化设置下使用训练-验证划分的神经架构搜索（NAS）提供了理论泛化保证。研究表明，即使所有架构在训练集上均达到零训练损失，验证损失——通过超梯度和风险估计——仍能近乎最小化验证数据量地准确反映测试性能，从而在连续搜索空间中可靠地选出最具有泛化能力的架构。

ABSTRACT

Neural Architecture Search (NAS) is a popular method for automatically designing optimized architectures for high-performance deep learning. In this approach, it is common to use bilevel optimization where one optimizes the model weights over the training data (inner problem) and various hyperparameters such as the configuration of the architecture over the validation data (outer problem). This paper explores the statistical aspects of such problems with train-validation splits. In practice, the inner problem is often overparameterized and can easily achieve zero loss. Thus, a-priori it seems impossible to distinguish the right hyperparameters based on training loss alone which motivates a better understanding of the role of train-validation split. To this aim this work establishes the following results. (1) We show that refined properties of the validation loss such as risk and hyper-gradients are indicative of those of the true test loss. This reveals that the outer problem helps select the most generalizable model and prevent overfitting with a near-minimal validation sample size. This is established for continuous search spaces which are relevant for differentiable schemes. Extensions to transfer learning are developed in terms of the mismatch between training & validation distributions. (2) We establish generalization bounds for NAS problems with an emphasis on an activation search problem. When optimized with gradient-descent, we show that the train-validation procedure returns the best (model, architecture) pair even if all architectures can perfectly fit the training data to achieve zero error. (3) Finally, we highlight connections between NAS, multiple kernel learning, and low-rank matrix learning. The latter leads to novel insights where the solution of the outer problem can be accurately learned via efficient spectral methods to achieve near-minimal risk.

研究动机与目标

• 系统分析在过参数化深度学习设置下，训练-验证划分在神经架构搜索（NAS）中的统计作用。
• 理解为何当训练损失无信息量（即所有架构的训练损失均为零）时，验证损失仍能有效指导超参数选择。
• 在连续搜索空间中建立NAS的泛化边界，特别是针对激活函数搜索问题。
• 揭示NAS与多核学习、低秩矩阵学习之间的理论联系，以获得算法洞察。
• 量化在双层优化设置下实现可靠泛化的最小验证样本量。

提出的方法

• 将NAS形式化为双层优化问题：下层在训练数据上优化模型权重，上层在验证数据上优化架构超参数。
• 分析验证损失的精细性质（如风险和超梯度）作为真实测试损失泛化性的代理指标。
• 利用集中不等式和谱分析建立泛化边界，尤其在训练误差为零的过参数化设置下。
• 对上层问题应用谱方法，表明最优架构可通过低秩矩阵学习技术高效近似。
• 通过一系列概率与优化论证推导误差边界，包含估计误差、近似误差和泛化误差项。
• 采用架构参数的连续松弛（适用于可微NAS），实现对架构超参数的基于梯度的优化。

实验结果

研究问题

• RQ1 当所有架构均完美拟合训练数据（即训练损失为零）时，验证损失是否能可靠指示测试性能？
• RQ2 在NAS中，为确保验证损失准确反映真实测试损失，所需的最小验证样本量是多少？
• RQ3 验证集上的超梯度和风险估计与测试集上的泛化性能有何关系？
• RQ4 NAS、多核学习与低秩矩阵学习之间存在何种理论联系？
• RQ5 谱方法能否被用于高效求解具有可证明泛化保证的上层NAS问题？

主要发现

• 当验证样本量 $ n_{\text{V}} $ 与超参数数量 $ h $ 相当时，验证损失在测试损失附近均匀集中，即使训练误差为零，也能实现可靠的架构选择。
• 在连续搜索空间中，验证集上的超梯度和风险是泛化性能的强指标，支持在可微NAS中使用训练-验证划分。
• 已为激活函数搜索问题建立泛化边界：当所有架构均达到零训练误差时，训练-验证流程仍能返回最优（模型，架构）对。
• 最优架构可通过谱方法高效近似，且上层问题的解可借助低秩矩阵学习技术恢复。
• 所需验证样本量接近最小：$ n_{\text{V}} \gtrsim h $ 即足以实现验证损失在测试损失附近的均匀集中。
• 理论误差边界表明，在适当参数缩放下，NAS输出的总误差是可控的，且可通过增加训练和验证数据量使误差任意小。