[논문 리뷰] The rising costs of training frontier AI models

Ben Cottier, Robi Rahman외 4명|arXiv (Cornell University)|2024. 05. 31.

Machine Learning and Data Classification인용 수 18

한 줄 요약

논문은 프런티어 AI 모델 학습을 위한 상세한 비용 모델을 세 가지 접근으로 제시하고, 2016년 이후 연간 상각 비용이 약 2.4배 증가해 모델당 수천만 달러에서 2027년에는 10억 달러를 넘길 가능성도 있으며, 연구개발(R&D) 직원이 총 비용의 상당 부분을 차지한다는 것을 발견한다.

ABSTRACT

The costs of training frontier AI models have grown dramatically in recent years, but there is limited public data on the magnitude and growth of these expenses. This paper develops a detailed cost model to address this gap, estimating training costs using three approaches that account for hardware, energy, cloud rental, and staff expenses. The analysis reveals that the amortized cost to train the most compute-intensive models has grown precipitously at a rate of 2.4x per year since 2016 (90% CI: 2.0x to 2.9x). For key frontier models, such as GPT-4 and Gemini, the most significant expenses are AI accelerator chips and staff costs, each costing tens of millions of dollars. Other notable costs include server components (15-22%), cluster-level interconnect (9-13%), and energy consumption (2-6%). If the trend of growing development costs continues, the largest training runs will cost more than a billion dollars by 2027, meaning that only the most well-funded organizations will be able to finance frontier AI models.

연구 동기 및 목표

• 다양한 비용 구성 요소에 걸쳐 프런티어 AI 모델 학습의 상승 비용을 정량화한다.
• 하드웨어, 에너지, 클라우드 대여, R&D 직원으로 비용을 분해하여 주요 동인을 이해한다.
• 비용 증가를 검증하고 방법 간 강건성을 평가하기 위해 세 가지 추정 접근법을 제공한다.
• 프런티어 AI 개발의 접근성 및 거버넌스에 대한 시사점을 제시한다.

제안 방법

• 세 가지 비용 추정 접근법: (i) 최종 학습 실행에 대한 상각 하드웨어 CapEx + 에너지, (ii) 클라우드 대여 가격 기반 비용, (iii) 선택된 모델의 R&D 직원 및 실험을 포함한 전체 모델 개발 비용.
• Depreciation 및 훈련 칩 시간학습을 통해 AI 가속기, 서버, 네트워킹, 에너지로 하드웨어를 분해하고 상각 비용을 계산하는 방법.
• 연도별 에너지 요금 및 벤더 데이터를 사용하여 TDP, 전력 대비 TDP 비율, 데이터 센터 PUE를 통한 에너지 비용 모델링.
• 상각된 하드웨어+에너지를 클라우드 기반 추정과 비교하여 검증하고, 감가상각 및 TPU 포함 여부에 따른 민감도 분석을 수행한다.
• GPT-3, OPT-175B, GPT-4, Gemini Ultra를 포함한 모델들에 대한 교차 모델 R&D 비용 평가(주식 및 직원 구성 포함).

Figure 1: Amortized hardware cost plus energy cost for the final training run of frontier models. The selected models are among the top 10 most compute-intensive for their time. Amortized hardware costs are the product of training chip-hours and a depreciated hardware cost, with 23% overhead added f

실험 결과

연구 질문

• RQ1 2016년부터 현재까지 프런티어 모델의 상각 학습 비용 증가율은 얼마인가?
• RQ2 하드웨어, 에너지, R&D 직원으로부터 오는 프런티어 모델 비용의 비중은 어떠하며, 개발 과정에서 이 분해가 어떻게 변하는가?
• RQ3 다른 비용 추정 접근법은 규모나 추세에서 어떻게 차이가 나나?
• RQ4 비상향하는 프런티어 비용이 AI 개발의 접근성과 거버넌스에 어떤 시사점을 주는가?

주요 결과

• 프런티어 모델의 상각 학습 비용은 2016년 이후 매년 2.4배로 증가해 왔으며(95% 신뢰구간: 2.0배 ~ 3.1배).
• 클라우드 기반 비용 추정도 연간 2.6배의 비슷한 증가율을 보임(95% 신뢰구간: 2.1배 ~ 3.2배).
• 주요 모델(GPT-3, OPT-175B, GPT-4, Gemini Ultra)에서 연구개발(R&D) 직원 비용(주식 포함)은 총 상각 개발 비용의 29%~49%를 차지; 하드웨어 비용은 47%~65%, 에너지는 2%~6%(주식 제외: 22~33% R&D, 60–74% 하드웨어, 2–7% 에너지).
• 공개 발표된 최종 학습 실행 비용은 수천만 달러에 달함(GPT-4: 약 4000만 달러; Gemini Ultra: 약 3000만 달러); 현재 성장률을 유지하면 2027년에는 10억 달러를 넘을 수 있음.
• 획득 비용(선행 하드웨어)은 상각 비용보다 1~2개 규모 차이로 높은 편으로, 진입 장벽이 크다는 점을 시사한다.
• 평균적으로 상각된 하드웨어+에너지 비용의 약 44%가 AI 가속기 칩에 할당되고, 29%가 서버, 17%가 인터커넷에 배정되며; 에너지 비용은 작지만 증가하는 비중을 차지한다.

Figure 2: (Reproduction of Figure 1 for convenience.) Amortized hardware cost plus energy cost for the final training run of frontier models. The selected models are among the top 10 most compute-intensive for their time. Amortized hardware costs are the product of training chip-hours and a deprecia