[论文解读] Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks

Sanjeev Arora, Simon S. Du+4 more|arXiv (Cornell University)|Oct 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 13

一句话总结

该论文表明，由无限宽深度网络导出的神经正切核（NTK）分类器在小样本机器学习任务中实现了最先进性能。通过利用核方法与NTK（特别是卷积神经正切核，CNTK），该方法在极少超参数调优的情况下，优于有限宽度网络以及随机森林和线性SVM等传统方法，尤其在低数据量场景下表现突出。

ABSTRACT

Recent research shows that the following two models are equivalent: (a) infinitely wide neural networks (NNs) trained under l2 loss by gradient descent with infinitesimally small learning rate (b) kernel regression with respect to so-called Neural Tangent Kernels (NTKs) (Jacot et al., 2018). An efficient algorithm to compute the NTK, as well as its convolutional counterparts, appears in Arora et al. (2019a), which allowed studying performance of infinitely wide nets on datasets like CIFAR-10. However, super-quadratic running time of kernel methods makes them best suited for small-data tasks. We report results suggesting neural tangent kernels perform strongly on low-data tasks. 1. On a standard testbed of classification/regression tasks from the UCI database, NTK SVM beats the previous gold standard, Random Forests (RF), and also the corresponding finite nets. 2. On CIFAR-10 with 10 - 640 training samples, Convolutional NTK consistently beats ResNet-34 by 1% - 3%. 3. On VOC07 testbed for few-shot image classification tasks on ImageNet with transfer learning (Goyal et al., 2019), replacing the linear SVM currently used with a Convolutional NTK SVM consistently improves performance. 4. Comparing the performance of NTK with the finite-width net it was derived from, NTK behavior starts at lower net widths than suggested by theoretical analysis(Arora et al., 2019a). NTK's efficacy may trace to lower variance of output.

研究动机与目标

• 评估神经正切核（NTK）分类器在传统核方法计算成本过高的小样本机器学习任务中的表现。
• 探究尽管理论上预测有限宽度网络更优，但通过NTK形式化的深度网络无限宽度极限是否在低数据设置下仍具有实际优势。
• 从准确率、稳定性与泛化能力角度，将基于NTK的模型与随机森林和线性SVM等成熟基线方法进行比较，评估其在小数据集上的表现。
• 探索卷积神经正切核（CNTK）在少样本图像分类中的有效性，特别是其作为迁移学习流程中线性分类器的即插即用替代方案。
• 评估NTK是否在低数据量场景下捕捉到了有限宽度网络的归纳偏置，以及其更低方差是否促成了性能提升。

提出的方法

• 使用Arora等人（2019a）提出的高效算法，精确计算全连接和卷积神经网络架构的神经正切核（NTK），实现无需近似的精确核计算。
• 使用NTK和CNTK作为核函数，应用核回归与核SVM，借助稳定求解器实现最小超参数调优。
• 使用标准UCI基准数据集和CIFAR-10数据集，仅使用有限训练样本（10–640）来评估NTK在多样化分类任务中的表现。
• 在VOC07上的少样本学习任务中，从预训练的ResNet-50中提取特征，并将线性分类器替换为基于CNTK的SVM，以评估每类1–8个样本时的性能。
• 采用交叉验证调优SVM正则化参数C，并报告在多次随机划分下的mAP均值与标准差。
• 使用平均准确率、Friedman秩和PMA（最大准确率的百分比）等标准指标，将NTK与CNTK的性能与有限宽度网络、随机森林和线性SVM进行比较。

实验结果

研究问题

• RQ1 基于NTK的分类器是否能在小样本分类任务中超越有限宽度深度网络及随机森林等成熟方法？
• RQ2 尽管理论上预测有限网络更优，但通过NTK形式化的深度网络无限宽度极限是否在低数据量场景下仍能实现比有限网络更优的泛化性能？
• RQ3 在少样本图像分类中，CNTK与线性SVM相比表现如何，尤其是在作为迁移学习流程中线性分类器的即插即用替代方案时？
• RQ4 输出分布的方差在NTK于小样本数据集上性能提升中起到何种作用？
• RQ5 NTK近似开始准确描述有限网络行为的网络宽度阈值是多少？该现象是否早于理论预测发生？

主要发现

• 在90个分类任务的UCI基准测试中，NTK分类器表现更优，显著优于随机森林和有限宽度深度网络，Friedman秩和PMA指标均证实其统计显著性。
• 在CIFAR-10数据集中使用10–640个训练样本时，卷积神经正切核（CNTK）始终比ResNet-34高出1%–3%，展现出在小样本计算机视觉任务中的强大泛化能力。
• 在VOC07上的少样本图像分类中，将线性SVM替换为CNTK后，所有样本设置（k=1至8）的mAP均得到提升，尤其在中层特征（Conv3和Conv4）上最高提升达4%。
• NTK分类器的方差低于有限宽度网络，这有助于其在小样本数据集上表现更优，尤其在高噪声或样本量极少的场景下。
• 有限网络与对应NTK近似之间的性能差距小于理论预测——NTK行为在比先前预测更窄的网络宽度下即已出现。
• 使用1–3个卷积层的CNTK始终优于线性SVM，尤其在中层特征上提升最大，表明在低数据量场景下核函数中的非线性特性具有显著优势。