[논문 리뷰] Compute Trends Across Three Eras of Machine Learning

Jaime Sevilla, Lennart Heim외 4명|arXiv (Cornell University)|2022. 02. 11.

Machine Learning and Data Classification참고 문헌 112인용 수 40

한 줄 요약

이 논문은 훈련 연산(FLOPs)이 Pre Deep Learning, Deep Learning, Large-Scale의 세 시대로 어떻게 진화했는지 분석하고, 각기 다른 배가 시간과 대형 모델의 늦은 등장 및 별도의 추세를 발견한다.

ABSTRACT

Compute, data, and algorithmic advances are the three fundamental factors that guide the progress of modern Machine Learning (ML). In this paper we study trends in the most readily quantified factor - compute. We show that before 2010 training compute grew in line with Moore's law, doubling roughly every 20 months. Since the advent of Deep Learning in the early 2010s, the scaling of training compute has accelerated, doubling approximately every 6 months. In late 2015, a new trend emerged as firms developed large-scale ML models with 10 to 100-fold larger requirements in training compute. Based on these observations we split the history of compute in ML into three eras: the Pre Deep Learning Era, the Deep Learning Era and the Large-Scale Era. Overall, our work highlights the fast-growing compute requirements for training advanced ML systems.

연구 동기 및 목표

• 훈련 연산 데이터를 포함하는 이정 ML 시스템 데이터 세트를 선별한다.
• ML에서 연산 증가의 뚜렷한 시기를 식별하고 특성화한다.
• 연산 배가 시간의 추정치를 제공하고 하드웨어 및 연구 인센티브에 대한 시사점을 논의한다.

제안 방법

• 훈련 연산 주석이 있는 123개의 이정 ML 모델 데이터 세트를 구성한다.
• 훈련 연산(FLOPs) 대비 로그 선형 모델을 데이터에 적합시켜 배가 시간을 추정한다.
• 역사를 Pre Deep Learning, Deep Learning, Large-Scale 시대로 세분하고 경사와 적합도 차이를 비교한다.
• 보조 자료에서 대안 해석 및 도메인 차이를 다루며 결과를 교차 검증한다.

실험 결과

연구 질문

• RQ1 Deep Learning 등장 이전과 이후의 훈련 연산의 성장률(배가 시간)은 얼마인가?
• RQ2 2015-2016년경에 별도의 Large-Scale 시기가 등장하는가, 일반 규모의 연산 증가와 어떻게 다른가?
• RQ3 확인된 경향이 Milestone ML 모델 데이터에 얼마나 잘 맞는가, 추정치의 불확실성은 무엇인가?

주요 결과

기간	데이터(FLOPs 시작–종료)	규모	기울기 (OOMs/년)	배가 시간	R²
1952 to 2010	3e+04 to 2e+14	Pre Deep Learning	0.2	21.3 months	0.77

• Pre Deep Learning Era는 Moore의 법칙에 따라 계산이 증가하는 것으로 보이며, 1952–2010 기간에 약 매 21개월마다 두 배가 된다.
• Deep Learning Era는 2010–2022 기간에 약 5–6개월 배가 시간으로 계산 증가를 가속화한다.
• Large-Scale Era는 2015–2016년경에 등장하여 이전 추세를 능가하는 모델을 보이며 대략 매 10개월마다 두 배가 된다(2015년 말–2022년).
• 전반적으로 세 시기는 계산 추세의 불연속성과 고급 ML 시스템의 증가하는 연산 수요를 부각한다.