[論文レビュー] Measuring the Algorithmic Efficiency of Neural Networks

Danny Hernandez, T. B. Brown|arXiv (Cornell University)|May 8, 2020

Advanced Neural Network Applications参考文献 39被引用数 87

ひとこと要約

本論文は、過去の能力に到達するために必要な計算量の削減でアルゴリズム的進歩を測定できると主張し、2012年から2019年にかけてAlexNetレベルのImageNetへ学習時のFLOPsが44倍に減少したことを示し、アルゴリズム的効率が約16か月ごとに倍増していることに対応している。

ABSTRACT

Three factors drive the advance of AI: algorithmic innovation, data, and the amount of compute available for training. Algorithmic progress has traditionally been more difficult to quantify than compute and data. In this work, we argue that algorithmic progress has an aspect that is both straightforward to measure and interesting: reductions over time in the compute needed to reach past capabilities. We show that the number of floating-point operations required to train a classifier to AlexNet-level performance on ImageNet has decreased by a factor of 44x between 2012 and 2019. This corresponds to algorithmic efficiency doubling every 16 months over a period of 7 years. By contrast, Moore's Law would only have yielded an 11x cost improvement. We observe that hardware and algorithmic efficiency gains multiply and can be on a similar scale over meaningful horizons, which suggests that a good model of AI progress should integrate measures from both.

研究の動機と目的

• データと計算量と並ぶ、アルゴリズム的進歩の測定可能な側面を動機づける。
• 時間とともにImageNetでのAlexNetレベルの性能を達成するために削減される計算量を定量化する。
• アルゴリズム的効率の成長をムーアの法則と比較し、それらがAI進歩に与える総合的影響を理解する。

提案手法

• 指標を定義する: ImageNetでAlexNetレベルの性能を達成するために学習に必要な計算量（FLOPs）。
• 2012年から2019年までの歴史的なFLOP要件を追跡して効率向上を定量化する。
• 含意されるアルゴリズム的進歩の速度を計算し、文脈としてムーアの法則と比較する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetでAlexNetレベルの性能を達成するために必要な計算量の歴史的傾向はどうなるか。
• RQ2 アルゴリズム的効率の成長は、古典的なハードウェア駆動成長（ムーアの法則）とどう比較されるか。
• RQ3 ハードウェアとアルゴリズム的効率の向上は、意味のある長期的視点で相互に影響し合いAIの進歩に寄与するか。

主な発見

• ImageNetでAlexNetレベルの性能を達成するために必要なFLOPsは2012年と2019年の間に44倍減少した。
• これは7年間で約16か月ごとにアルゴリズム的効率が倍増していることに対応する。
• ハードウェアとアルゴリズム的効率の向上は掛け合わされ、意味のある長期的視点で同様の規模になる可能性がある。
• AI進歩のモデルは、ハードウェアとアルゴリズム的効率の両方の指標を統合するべきである。