[论文解读] Learning Curves for Analysis of Deep Networks

Derek Hoiem, Tanmay Gupta+2 more|arXiv (Cornell University)|Oct 21, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 9

一句话总结

本文提出使用学习曲线——将测试误差建模为训练集规模的函数——以系统性地评估深度学习模型，超越单一精度点的评估。该研究提出一种稳健的估计方法，并引入两个关键汇总指标：N个样本时的误差（$e_N$）与数据依赖性（$β_N$），表明这些指标揭示了模型设计、数据增强和微调中单点评估所忽略的洞察。

ABSTRACT

Learning curves model a classifier's test error as a function of the number of training samples. Prior works show that learning curves can be used to select model parameters and extrapolate performance. We investigate how to use learning curves to evaluate design choices, such as pretraining, architecture, and data augmentation. We propose a method to robustly estimate learning curves, abstract their parameters into error and data-reliance, and evaluate the effectiveness of different parameterizations. Our experiments exemplify use of learning curves for analysis and yield several interesting observations.

研究动机与目标

• 解决深度学习研究中缺乏对不同训练数据规模下模型性能系统性评估的问题。
• 克服单点精度比较的局限性，后者无法捕捉模型在数据稀缺或可扩展性条件下的行为。
• 开发一种稳健的估计方法，以稳定地拟合学习曲线，减少测量方差影响，并适用于模型比较。
• 引入可解释的汇总指标——N个样本时的误差（$e_N$）与数据依赖性（$\beta_N$）——以表征模型性能及其对数据规模的敏感性。
• 展示学习曲线分析在评估预训练、网络深度、数据增强和微调等设计选择中的实用性。

提出的方法

• 使用扩展幂律建模学习曲线：$e_{\text{test}}(n) = \alpha + \eta n^{\gamma}$，其中$n$为训练集规模。
• 通过在多个训练集规模下测量的测试误差，利用回归方法估计曲线参数（$\alpha$、$\eta$、$\gamma$）。
• 将曲线抽象为两个稳定且可解释的指标：$e_N$（在固定$N$时的测试误差）与$\beta_N$（数据依赖性，衡量测试误差相对于训练规模相对变化的响应）。
• 利用$\beta_N$量化模型性能对数据规模的敏感性，从而实现在不同数据范围下对模型的比较。
• 在多种设置下应用该方法：不同架构（ResNet、EfficientNet）、预训练策略、数据增强方法与微调协议。
• 通过多次运行的曲线拟合比较及对扰动的稳定性测量，验证方法的鲁棒性。

实验结果

研究问题

• RQ1 如何稳健地估计并总结学习曲线，以实现对不同训练数据规模下深度学习模型的可靠比较？
• RQ2 预训练、数据增强和微调等设计选择在学习曲线中所体现的模型性能与数据依赖性方面，其影响程度如何？
• RQ3 在通过学习曲线评估时，模型深度与宽度如何影响学习效率与渐近性能？
• RQ4 学习曲线分析能否揭示单点评估中不可见的反直觉行为，例如在大规模数据集上预训练反而损害性能？
• RQ5 数据增强如何影响模型性能，其效果能否被量化为有效数据规模的倍增因子？

主要发现

• 扩展幂律$e_{\text{test}}(n) = \alpha + \eta n^{\gamma}$能较好拟合学习曲线，但单个参数$\alpha$、$\eta$与$\gamma$在测量噪声下极不稳定。
• 抽象后的指标$e_N$与$\beta_N$显著优于原始曲线参数的稳定性，且能直观、可解释地总结模型性能与对数据规模的敏感性。
• 在相似领域进行预训练并不总是有益；事实上，可能引入偏差，导致在大规模训练集上性能下降，这与常见假设相悖。
• 数据增强的效果约等于使用1.8倍大的训练集，且在所有数据规模下进行微调时均能保持一致的性能提升。
• 在小规模数据集上进行微调时，增加网络深度会损害性能，原因在于模型复杂度过高；但随着训练数据增加，深度增加反而变得有益。
• 对于冻结主干网络，增加深度在小数据集上效果更显著，表明深度在特征迁移而非完整微调时更具优势。