[论文解读] Measuring the Algorithmic Efficiency of Neural Networks

Danny Hernandez, T. B. Brown|arXiv (Cornell University)|May 8, 2020

Advanced Neural Network Applications参考文献 39被引用 87

一句话总结

本论文认为，通过减少达到过去能力所需的计算量可以衡量算法进展，显示从2012到2019，训练 FLOPs 达到 AlexNet 水平的 ImageNet 的减少量为 44x，相当于算法效率每 16 个月翻倍。

ABSTRACT

Three factors drive the advance of AI: algorithmic innovation, data, and the amount of compute available for training. Algorithmic progress has traditionally been more difficult to quantify than compute and data. In this work, we argue that algorithmic progress has an aspect that is both straightforward to measure and interesting: reductions over time in the compute needed to reach past capabilities. We show that the number of floating-point operations required to train a classifier to AlexNet-level performance on ImageNet has decreased by a factor of 44x between 2012 and 2019. This corresponds to algorithmic efficiency doubling every 16 months over a period of 7 years. By contrast, Moore's Law would only have yielded an 11x cost improvement. We observe that hardware and algorithmic efficiency gains multiply and can be on a similar scale over meaningful horizons, which suggests that a good model of AI progress should integrate measures from both.

研究动机与目标

• 与数据和计算一起，推动算法进展的一个可衡量的方面。
• 量化随着时间推移达到 AlexNet 水平的 ImageNet 所需的计算量减少了多少。
• 将算法效率增长与摩尔定律进行比较，以理解它们对 AI 进展的综合影响。

提出的方法

• 定义一个度量：训练一个分类器达到 ImageNet 的 AlexNet 水平性能所需的 FLOPs。
• 跟踪 2012 年至 2019 年的历史 FLOP 要求，以量化效率提升。
• 计算隐含的算法进展速率并与摩尔定律进行对比以获得背景。

实验结果

研究问题

• RQ1 历史上达到 ImageNet AlexNet 水平性能所需的计算量的趋势是什么？
• RQ2 算法效率增长与经典硬件驱动增长（摩尔定律）相比如何？
• RQ3 在有意义的时间范围内，硬件与算法效率提升是否会叠加，影响 AI 进展？

主要发现

• 在 2012 年至 2019 年之间，为达到 ImageNet 的 AlexNet 水平性能所需的 FLOPs 下降了 44x。
• 这对应于算法效率大约每 16 个月翻倍，跨越七年。
• 硬件与算法效率提升叠加，且在有意义的时间尺度上可能达到类似的量级。
• 应将来自硬件和算法效率的度量结合起来形成 AI 进展的模型。