[論文レビュー] The Importance of (Exponentially More) Computing Power

Neil Thompson, Shuning Ge+1 more|arXiv (Cornell University)|Jun 28, 2022

Complex Systems and Time Series Analysis被引用数 6

ひとこと要約

この論文は、チェス、囲碁、気象予測、タンパク質折りたたみ、オイル探査の5分野におけるパフォーマンス向上における指数関数的に増加する計算能力の役割を定量的に評価し、計算能力が進歩の49%から94%を説明していることを発見した。線形のパフォーマンス向上には指数関数的な計算能力の増加が必要であり、これがムーアの法則が技術的・経済的進歩の中心的役割を果たしてきた理由を裏付けている。

ABSTRACT

Denizens of Silicon Valley have called Moore's Law "the most important graph in human history," and economists have found that Moore's Law-powered I.T. revolution has been one of the most important sources of national productivity growth. But data substantiating these claims tend to either be abstracted - for example by examining spending on I.T., rather than I.T. itself - or anecdotal. In this paper, we assemble direct quantitative evidence of the impact that computing power has had on five domains: two computing bellwethers (Chess and Go), and three economically important applications (weather prediction, protein folding, and oil exploration). Computing power explains 49%-94% of the performance improvements in these domains. But whereas economic theory typically assumes a power-law relationship between inputs and outputs, we find that an exponential increase in computing power is needed to get linear improvements in these outcomes. This helps clarify why the exponential growth of computing power from Moore's Law has been so important for progress, and why performance improvements across many domains are becoming economically tenuous as Moore's Law breaks down.

研究の動機と目的

• IT支出などの抽象的指標を越えて、計算能力が主要分野におけるパフォーマンス向上にどのように寄与するかを直接的・定量的に示すこと。
• 経済モデルにおける入力-出力のパワーロー関係の仮定に反論し、線形のパフォーマンス向上には指数関数的な計算能力の増加が必要であることを示すこと。
• ムーアの法則の後退が、科学的・経済的応用分野における継続的進歩に深刻な脅威をもたらす可能性があることを示すこと。
• 実際のシステムコストを用いて、ハイパフォーマンスコンピューティング分野における計算能力の実際のコストを時間経過とともに分析すること。
• 計算能力が多様な分野におけるイノベーションの主な、定量的可能な駆動要因であることを確立し、将来の生産性および技術的発展に与える影響を示すこと。

提案手法

• チェス、囲碁、気象予測、タンパク質折りたたみ、オイル探査の5分野におけるシステムパフォーマンスおよびハードウェアコストの詳細な歴史的記録を収集した。
• 計算能力を1秒あたりの演算回数（例：ギガフロップ）として測定し、金銭的支出とは独立してその増加率を時間経過とともに追跡した。
• 計算能力とパフォーマンス成果（例：チェス・囲碁におけるELOレーティング、気象予測における精度、タンパク質モデリングにおける折りたたみ速度）との関係を示す生産関数を推定した。
• 実際のシステムコストとパフォーマンスデータを用いて、パフォーマンス向上1単位あたりのコスト（例：100ELOポイント向上のためのコスト）を計算した。
• 回帰分析を用いて、アルゴリズム的およびアーキテクチャ的進歩を制御した上で、パフォーマンス向上に寄与する計算能力の割合を定量的に評価した。
• 観察されたコストトレンドをムーアの法則とファン・チャン・アンの法則（Huang’s Law）と比較した。その結果、GPU搭載システムの導入により、囲碁システムのコスト低下率は年間117%に達した。

Figure 1: Small subset of a decision tree for chess.

実験結果

リサーチクエスチョン

• RQ1 計算能力は、チェス、囲碁、気象予測、タンパク質折りたたみ、オイル探査において、どれほどパフォーマンス向上を説明しているか？
• RQ2 計算能力とパフォーマンスの関係は単純なパワーローとはどのように異なるのか？ そして、これからの進歩にどのような含意をもたらすのか？
• RQ3 ハイステークスなコンピューティング分野において、時間経過とともにインクリメンタルなパフォーマンス向上（例：100ELOポイント向上）を達成するための実際のコストは何か？
• RQ4 実世界のハイパフォーマンスシステムにおいて、計算ハードウェアのコストトレンドはムーアの法則およびファン・チャン・アンの法則とどのように比較できるか？
• RQ5 なぜ指数関数的な計算能力の増加が、多様な技術的・経済的分野における継続的進歩にとって極めて重要だったのか？

主な発見

• 本研究で分析した5分野において、計算能力はパフォーマンス向上の49%から94%を説明しており、特にタンパク質折りたたみおよびオイル探査分野で最も高い寄与率を示した。
• チェスでは、1996年から1997年のディープブルー対カスパロフ戦の時期にトップシステムで使用されたハードウェアのコストがピークに達したが、その後ハードウェアコストの低下により急激に低下した。
• 囲碁では、MoGo開発時（2008年）および2016年のアルファゴの優勝後に、計算コストが著しく上昇し、巨額のハードウェア投資を反映していた。
• 囲碁システムにおける1ギガフロップあたりのコスト低下率は年間117%に達しており、これはムーアの法則を上回る速度であった。これはGPUアクセラレーションの導入によるものであった。
• ピーク開発期には、囲碁で100ELOポイントのパフォーマンス向上を達成するのに、計算コストが1桁増加する必要があり、進歩に伴う経済的負担の大きさを示している。
• 本研究は、これらの分野における線形のパフォーマンス向上が、指数関数的な計算能力の増加を必要としていることを示しており、これがムーアの法則が継続的イノベーションにおいて中心的役割を果たしてきた理由を説明している。

Figure 2: Computer Chess: (a) Elo scores over time, (b) computing power used over time, and (c) Elo scores as computing power increases. In each subfigure, the dots are individual programs, the lines are linear regressions, and the shaded region is the 95% confidence interval for the regression.