[论文解读] Algorithmic progress in computer vision

Ege Erdil, Tamay Besiroglu|arXiv (Cornell University)|Dec 10, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文利用基于神经缩放定律的模型和Shapley值归因法，将ImageNet图像分类中的性能提升分解为算法改进、计算量扩展和数据扩展的贡献。研究发现，算法进步——主要是增强计算能力的创新——对性能提升的贡献与计算量扩展相当，此类创新使实现特定性能水平所需的计算量每9个月减半（95%置信区间：4–25个月），其速度超过摩尔定律。

ABSTRACT

We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).

研究动机与目标

• 将ImageNet图像分类中的性能提升分解为算法改进、计算量扩展和数据扩展的贡献。
• 确定算法进步相对于硬件和数据扩展在推动计算机视觉模型发展中的相对重要性。
• 区分数据增强型与计算增强型算法创新，并量化其各自的影响。
• 通过测量实现固定性能水平所需计算量的下降速度，估算算法创新的速度。
• 通过稳健性检验（包括对数几率空间分析和模型外推风险评估）验证结果。

提出的方法

• 基于神经缩放定律构建性能模型，以年份、数据量和计算量作为预测模型准确率的变量。
• 应用Shapley值分解法，将性能提升归因于算法进步、计算量扩展和数据扩展。
• 通过边际贡献分析，将算法进步细分为计算增强型和数据增强型子类。
• 通过测量实现特定性能水平所需计算量的半衰期，估算算法创新速度。
• 通过在对数几率空间中的分解进行稳健性检验，并评估帕累托前沿预测中的模型外推风险。
• 使用涵盖从AlexNet到Vision Transformers的15个主流计算机视觉模型的精选数据集，包含性能、计算量和数据指标。

实验结果

研究问题

• RQ1 ImageNet图像分类中的进展有多少可归因于算法改进，又有多少可归因于计算量和数据的扩展？
• RQ2 算法进步中，有多少比例是计算增强型（即在更少计算量下实现更好性能）？又有多少是数据增强型（即在更多数据下实现更好性能）？
• RQ3 计算增强型算法创新的推进速度有多快？与摩尔定律相比如何？
• RQ4 算法改进的影响在计算受限模型与数据受限模型中是否存在差异？
• RQ5 在度量空间发生变化时（例如使用对数几率而非线性性能差异），分解结果是否依然稳健？

主要发现

• 算法改进对ImageNet图像分类性能提升的贡献，与计算量扩展相当。
• 计算增强型算法进步——即降低实现特定性能水平所需计算量的创新——占算法进步的绝大部分。
• 计算增强型算法创新的速度超过摩尔定律两倍以上，实现特定性能水平所需计算量每9个月减半（95%置信区间：4至25个月）。
• 相比之下，数据增强型算法进步对总算法进步的贡献仅占很小比例，各模型比较中占比在4.5%至6.8%之间。
• 在计算受限模型中，算法改进的影响显著高于在数据受限模型中，表明在计算受限环境下具有更强的杠杆效应。
• 使用对数几率空间分解的稳健性检验表明，关键发现——尤其是计算增强型创新的主导地位——在其他度量形式下依然成立。