[論文レビュー] The Computational Limits of Deep Learning

Neil Thompson, Kristjan Greenewald+2 more|arXiv (Cornell University)|Jul 10, 2020

Machine Learning and Data Classification被引用数 311

ひとこと要約

本論文は深層学習の進展が拡大する計算リソースに強く結びついていることを分析し、現在の傾向が費用と環境への影響を持続不可能にすることを示唆し、より効率的な手法または代替アプローチを主張する。

ABSTRACT

Deep learning's recent history has been one of achievement: from triumphing over humans in the game of Go to world-leading performance in image classification, voice recognition, translation, and other tasks. But this progress has come with a voracious appetite for computing power. This article catalogs the extent of this dependency, showing that progress across a wide variety of applications is strongly reliant on increases in computing power. Extrapolating forward this reliance reveals that progress along current lines is rapidly becoming economically, technically, and environmentally unsustainable. Thus, continued progress in these applications will require dramatically more computationally-efficient methods, which will either have to come from changes to deep learning or from moving to other machine learning methods.

研究の動機と目的

• 主要なベンチマーク全体で、深層学習の性能が計算力とともにどのようにスケールするかを定量化する。
• 深層学習における計算能力のスケーリングに伴う経済的及び環境的コストを評価する。
• 深層学習が計算的に集約的である理論的・実践的理由を説明する。
• 将来の計算要件を予測し、効率性と方法論への影響を議論する。

提案手法

• 画像分類、物体検出、QA、NER、MT、音声、顔検出、画像生成、ポーズ推定にわたる1,526件の深層学習論文の綿密なメタ分析。
• 計算負荷の二つの指標：ネットワーク演算量（flops）とハードウェア負担（トレーニングハードウェア時間）。
• 計算済みの計算量と性能（例：ImageNet Top-1誤差）を結ぶ回帰分析、頑健性検証を含む（仕様（1）-（8））。
• データ、計算、および性能のスケーリングへモデルの過剰パラメータ化を結びつける理論的議論。
• 観測されたスケーリングの外挿を用いて、多項式および指数スケーリング仮定の下で将来の計算量、コスト、環境影響を予測する。

実験結果

リサーチクエスチョン

• RQ1 主要なベンチマーク全体で、深層学習の性能は増大する計算量とともにどのようにスケールするか？
• RQ2 トレーニング計算量と性能の関係は何か、そして計算量は分散のどれくらいを説明できるか？
• RQ3 深層学習における現在の計算量スケーリングの経済的・環境的影響は何か？
• RQ4 効率性の改善は、ベンチマークの目標達成に向けた計算要件の予測を意味のある程度変更できるか？

主な発見

• 計算量はベンチマーク全体で深層学習の性能を強く予測する指標であり、画像分類では誤差と計算量の間に有意な負の関係が見られる。
• ImageNetの場合、推定されるスケーリングは計算量がおおよそPerformance^12.5に比例して増加することを意味し、誤差を半減させるには約5,000倍の計算量が必要になる（信頼区間は1,500×〜17,500×）。
• アルゴリズム改善は改善をもたらすが、計算ニーズの急速な高まりを排除しない。3年分のアルゴリズム進展は同じ性能で約10×の計算量に相当。
• ベンチマーク全体で、ネットワーク演算とハードウェア負担の両方が性能と強く統計的に有意なスケーリングを示し、進歩の計算依存性が広範囲に及ぶことを示している。
• 多項式および指数モデルによる外挿は、効率性が大幅に向上しない限り、特定の目標に到達するには計算量・炭素・金銭的コストが非常に高くつくことを示唆している。