[논문 리뷰] The Computational Limits of Deep Learning

Neil Thompson, Kristjan Greenewald외 2명|arXiv (Cornell University)|2020. 07. 10.

Machine Learning and Data Classification인용 수 311

한 줄 요약

이 논문은 딥러닝의 발전이 늘어나는 계산 자원과 밀접하게 연관되어 있음을 분석하고, 현재의 추세가 비용과 환경 영향 측면에서 지속 불가능해질 수 있음을 보여주며, 보다 효율적인 방법이나 대안적 접근을 주장한다.

ABSTRACT

Deep learning's recent history has been one of achievement: from triumphing over humans in the game of Go to world-leading performance in image classification, voice recognition, translation, and other tasks. But this progress has come with a voracious appetite for computing power. This article catalogs the extent of this dependency, showing that progress across a wide variety of applications is strongly reliant on increases in computing power. Extrapolating forward this reliance reveals that progress along current lines is rapidly becoming economically, technically, and environmentally unsustainable. Thus, continued progress in these applications will require dramatically more computationally-efficient methods, which will either have to come from changes to deep learning or from moving to other machine learning methods.

연구 동기 및 목표

• 주요 벤치마크에 걸쳐 계산 자원에 따라 딥러닝 성능이 어떻게 스케일링되는지를 정량화한다.
• 딥러닝에서 계산 자원의 확장이 가져오는 경제적 및 환경적 비용을 평가한다.
• 딥러닝이 계산적으로 집약적인 이론적 및 실무적 이유를 설명한다.
• 향후 계산 자원 요구를 예측하고 효율성 및 방법론에 대한 함의를 논의한다.

제안 방법

• 이미지 분류, 객체 탐지, QA, NER, MT, 음성, 얼굴 탐지, 이미지 생성, 포즈 추정에 걸친 1,526편의 딥러닝 논문에 대한 꼼꼼한 메타 분석.
• 두 가지 계산 부담 지표: 네트워크 연산(flops) 및 하드웨어 부담(훈련 하드웨어 시간).
• 계산된 컴퓨트와 성능(예: ImageNet Top-1 오차)을 연결하는 회귀 분석, 강건성 검증(명세(1)-(8))을 포함.
• 데이터, 계산, 성능 스케일링에 대한 모델 과다 파라미터화의 이론적 연관성에 대한 논의.
• 다항식 및 지수적 스케일링 가정하에 관찰된 스케일링의 외삽을 통해 향후 계산, 비용 및 환경 영향 예측.

실험 결과

연구 질문

• RQ1 주요 벤치마크에서 더 강력한 계산 증가에 따른 딥러닝 성능의 스케일링은 어떻게 나타나는가?
• RQ2 훈련 계산과 성능 간의 관계는 무엇이며, 계산이 설명할 수 있는 분산의 정도는 어느 정도인가?
• RQ3 딥러닝에서 현재의 계산 스케일링이 가져오는 경제적 및 환경적 함의는 무엇인가?
• RQ4 효율성 향상이 벤치마크 목표 달성을 위한 예상 계산 요구를 실질적으로 바꿀 수 있는가?

주요 결과

• 계산은 벤치마크 전반에 걸쳐 딥러닝 성능의 강력한 예측 변수이며, 이미지 분류에서 오차와 계산 간에 유의한 음의 관계를 보인다.
• ImageNet의 추정 스케일링은 계산이 대략 Performance^12.5로 증가함을 시사하며, 오차를 절반으로 줄이려면 약 5,000× 더 많은 계산이 필요하다(신뢰구간 1,500×~17,500×).
• 알고리즘 개선은 이득을 주지만 계산 필요의 급격한 증가를 제거하지는 못하며, 같은 성능을 위한 알고리즘 진전 3년은 약 10× 더 많은 계산과 같다.
• 벤치마크 전반에 걸쳐 네트워크 연산과 하드웨어 부담 모두 성능과 강하게 통계적으로 유의미한 스케일링을 보여주며, 진보의 넓은 계산 의존성을 시사한다.
• 다항식 및 지수 모델에서의 외삽은 효율성이 크게 향상되지 않는 한 특정 목표에 도달하기 위한 계산, 탄소, 금전적 비용이 매우 커질 것을 시사한다.