[논문 리뷰] The Importance of (Exponentially More) Computing Power

Neil Thompson, Shuning Ge외 1명|arXiv (Cornell University)|2022. 06. 28.

Complex Systems and Time Series Analysis인용 수 6

한 줄 요약

이 논문은 체스, 장기, 기상 예측, 단백질 접힘, 석유 탐사의 다섯 분야에서 기하급수적으로 증가하는 계산 능력이 성능 향상에 기여하는 정도를 정량적으로 분석하며, 계산 능력이 성과 향상의 49%에서 94%를 설명하는 것으로 밝혀졌다. 선형 성능 향상은 기하급수적인 계산 능력 증가가 필요하며, 이는 무어의 법칙이 기술적·경제적 발전에 중심적인 역할을 해온 이유를 설명한다.

ABSTRACT

Denizens of Silicon Valley have called Moore's Law "the most important graph in human history," and economists have found that Moore's Law-powered I.T. revolution has been one of the most important sources of national productivity growth. But data substantiating these claims tend to either be abstracted - for example by examining spending on I.T., rather than I.T. itself - or anecdotal. In this paper, we assemble direct quantitative evidence of the impact that computing power has had on five domains: two computing bellwethers (Chess and Go), and three economically important applications (weather prediction, protein folding, and oil exploration). Computing power explains 49%-94% of the performance improvements in these domains. But whereas economic theory typically assumes a power-law relationship between inputs and outputs, we find that an exponential increase in computing power is needed to get linear improvements in these outcomes. This helps clarify why the exponential growth of computing power from Moore's Law has been so important for progress, and why performance improvements across many domains are becoming economically tenuous as Moore's Law breaks down.

연구 동기 및 목표

• 정보기술 지출과 같은 추상화된 지표를 넘어서, 계산 능력이 핵심 분야의 성능 향상에 어떻게 기여하는지 직접적이고 정량적인 증거를 제공하기 위해.
• 경제 모델에서 입력-출력 간의 멱법칙 관계를 가정하는 것을 도전하기 위해, 선형 성능 향상이 기하급수적인 계산 능력 증가가 필요하다는 점을 보여주기 위해.
• 무어의 법칙의 둔화가 과학적·경제적 응용 분야에서의 지속적 진전에 심각한 위협이 된다는 점을 입증하기 위해.
• 실제 시스템 비용을 사용하여 고성능 계산 분야에서의 계산 능력 진정 비용을 시간에 따라 분석하기 위해.
• 다양한 분야에서 혁신의 주요이고 정량화 가능한 추진력으로서의 계산 능력을 입증하고, 향후 생산성과 기술 발전에 미치는 영향을 제시하기 위해.

제안 방법

• 체스, 장기, 기상 예측, 단백질 접힘, 석유 탐사의 다섯 분야에서 시스템 성능 및 하드웨어 비용의 역사적 기록을 철저히 수집하였다.
• 계산 능력을 초당 연산 수(예: 기가플롭스)로 측정하고, 금전적 지출과는 별개로 시간에 따른 성장률을 추적하였다.
• 계산 능력과 성능 결과 간의 생산 함수를 추정하였으며(예: 체스와 장기의 ELO 등수, 기상 예측의 정확도, 단백질 모델링의 접힘 속도), 이를 기반으로 분석하였다.
• 실제 시스템 비용과 성능 데이터를 사용하여 성능 향상 단위당 비용(예: 100 ELO 포인트 향상을 위해 드는 비용)을 계산하였다.
• 선형 회귀 분석을 통해 알고리즘적·아키텍처적 발전을 통제한 상태에서 계산 능력이 성능 향상에 기여하는 비율을 정량화하였다.
• 관측된 비용 추세를 무어의 법칙과 황의 법칙과 비교하여, 장기 시스템에서 GPU 도입으로 인해 비용 감소율이 빠르게 증가(연간 117%)한 것으로 확인하였다.

Figure 1: Small subset of a decision tree for chess.

실험 결과

연구 질문

• RQ1 체스, 장기, 기상 예측, 단백질 접힘, 석유 탐사 분야에서 계산 능력이 성능 향상에 얼마나 기여하는가?
• RQ2 계산 능력과 성능 간의 관계가 단순한 멱법칙과 어떻게 다를지, 그리고 이는 향후 진전에 어떤 의미를 갖는가?
• RQ3 고성능 계산 분야에서 시간이 지남에 따라 성능 향상의 점진적 증가(예: 100 ELO 포인트)를 달성하기 위한 실제 비용은 얼마인가?
• RQ4 실제 고성능 시스템에서 계산 하드웨어의 비용 추세는 무어의 법칙과 황의 법칙과 어떻게 비교되는가?
• RQ5 왜 계산 능력의 기하급수적 증가가 다양한 기술적·경제적 분야에서의 지속적 진전에 그렇게 핵심적인 역할을 해왔는가?

주요 결과

• 연구한 다섯 분야에서 계산 능력은 성능 향상의 49%에서 94%를 설명하며, 단백질 접힘과 석유 탐사 분야에서 가장 높은 기여를 하였다.
• 체스 분야에서는 1996~1997년 딥블루 대 카스파로프 전의 최고 성능 시스템에 사용된 하드웨어 비용이 정점에 달한 후, 하드웨어 비용 감소로 인해 급격히 하락하였다.
• 장기 분야에서는 모고(MoGo) 개발 시기(2008년)와 2016년 알파고의 승리 이후에 계산 비용이 크게 증가하였으며, 이는 막대한 하드웨어 투자에 기인하였다.
• 장기 시스템에서 기가플롭스당 비용은 GPU 가속 시스템 도입으로 인해 연간 117%의 속도로 감소하였으며, 이는 무어의 법칙을 초월한 수준이었다.
• 정점 개발기 동안 장기에서 100 ELO 포인트 성능 향상을 달성하기 위해 계산 비용이 한 계급 수준으로 증가하였으며, 이는 진전의 경제적 부담을 드러내었다.
• 본 연구는 이러한 분야에서 선형 성능 향상은 기하급수적인 계산 능력 증가가 필요하다는 점을 입증하며, 무어의 법칙이 지속적 혁신에 얼마나 핵심적인 역할을 해왔는지를 설명한다.

Figure 2: Computer Chess: (a) Elo scores over time, (b) computing power used over time, and (c) Elo scores as computing power increases. In each subfigure, the dots are individual programs, the lines are linear regressions, and the shaded region is the 95% confidence interval for the regression.