[논문 리뷰] Measuring the Algorithmic Efficiency of Neural Networks

Danny Hernandez, T. B. Brown|arXiv (Cornell University)|2020. 05. 08.

Advanced Neural Network Applications참고 문헌 39인용 수 87

한 줄 요약

본 논문은 알고리즘적 진보를 과거 능력을 달성하는 데 필요한 계산 규모의 감소로 측정할 수 있다고 주장하며, 2012년에서 2019년까지 AlexNet 수준의 ImageNet 학습 FLOPs가 44배 감소했음을 보여주고, 이는 알고리즘적 효율성이 매 16개월마다 두 배로 증가하는 것에 해당한다.

ABSTRACT

Three factors drive the advance of AI: algorithmic innovation, data, and the amount of compute available for training. Algorithmic progress has traditionally been more difficult to quantify than compute and data. In this work, we argue that algorithmic progress has an aspect that is both straightforward to measure and interesting: reductions over time in the compute needed to reach past capabilities. We show that the number of floating-point operations required to train a classifier to AlexNet-level performance on ImageNet has decreased by a factor of 44x between 2012 and 2019. This corresponds to algorithmic efficiency doubling every 16 months over a period of 7 years. By contrast, Moore's Law would only have yielded an 11x cost improvement. We observe that hardware and algorithmic efficiency gains multiply and can be on a similar scale over meaningful horizons, which suggests that a good model of AI progress should integrate measures from both.

연구 동기 및 목표

• 데이터와 컴퓨트에 더불어 알고리즘적 진보의 측정 가능한 측면을 동기 부여한다.
• 시간에 따라 ImageNet에서 AlexNet 수준의 성능을 달성하기 위해 얼마나 많은 계산이 감소하는지 정량화한다.
• 알고리즘적 효율성 증가를 무어의 법칙과 비교하여 AI 진전에 대한 두 효과의 결합을 이해한다.

제안 방법

• AlexNet 수준의 성능으로 ImageNet에서 분류기를 학습하는 데 필요한 계산(FLOPs)을 측정하는 메트릭을 정의한다.
• 2012년부터 2019년까지의 역사적 FLOP 요구를 추적하여 효율성 향상을 정량화한다.
• 암시된 알고리즘적 진보 속도를 계산하고 맥락을 위해 이를 무어의 법칙과 비교한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 AlexNet 수준의 성능에 도달하기 위해 필요한 계산의 역사적 추세는 무엇인가?
• RQ2 알고리즘적 효율성의 성장은 고전적 하드웨어 주도 성장(무어의 법칙)과 어떻게 비교되는가?
• RQ3 하드웨어와 알고리즘적 효율성의 향상이 의미 있는 시계열에서 합산되어 AI 진전에 영향을 미치는가?

주요 결과

• 2012년에서 2019년 사이에 ImageNet에서 AlexNet 수준의 성능으로 학습하는 데 필요한 FLOPs가 44배 감소했다.
• 이는 약 16개월마다 알고리즘적 효율성이 두 배가 되는 것을 7년 동안 시사한다.
• 하드웨어 및 알고리즘적 효율성의 향상은 서로를 곱하고 의미 있는 시점에서 비슷한 규모로 나타날 수 있다.
• AI 진보 모델은 하드웨어와 알고리즘적 효율성의 척도를 모두 통합해야 한다.