[논문 리뷰] Reducing the Barriers to Entry for Foundation Model Training

Paolo Faraboschi, Ellis Giles외 3명|arXiv (Cornell University)|2024. 04. 12.

Hip disorders and treatmentsMedicine인용 수 3

한 줄 요약

이 논문은 기초 모델 학습의 비용과 에너지 소비를 극적으로 줄이기 위해 하드웨어, 소프트웨어 및 시스템 수준의 공동 설계를 포함하는 AI 학습 인프라의 근본적인 전환을 제안한다. 아날로그 내장 계산과 에너지 기반 모델을 활용하여, 저비용 접근을 가능하게 하고 기초 모델 개발의 광범위한 접근성과 개방형 혁신을 촉진하는 길을 제시한다.

ABSTRACT

The world has recently witnessed an unprecedented acceleration in demands for Machine Learning and Artificial Intelligence applications. This spike in demand has imposed tremendous strain on the underlying technology stack in supply chain, GPU-accelerated hardware, software, datacenter power density, and energy consumption. If left on the current technological trajectory, future demands show insurmountable spending trends, further limiting market players, stifling innovation, and widening the technology gap. To address these challenges, we propose a fundamental change in the AI training infrastructure throughout the technology ecosystem. The changes require advancements in supercomputing and novel AI training approaches, from high-end software to low-level hardware, microprocessor, and chip design, while advancing the energy efficiency required by a sustainable infrastructure. This paper presents the analytical framework that quantitatively highlights the challenges and points to the opportunities to reduce the barriers to entry for training large language models.

연구 동기 및 목표

• 기초 모델 학습과 관련된 비용과 에너지 소비의 지속 불가능한 증가를 해결하기 위해.
• 혁신을 제한하고 기술 격차를 확대하는 AI 모델 개발의 현재 시장 집중 현상을 줄이기 위해.
• 계산 및 재정적 장벽을 낮춤으로써 더 넓은 참여를 가능하게 하여 기초 모델 학습에 참여할 수 있도록 하기 위해.
• 학습 비용과 에너지 소비를 극적으로 줄이기 위한 혁신적인 하드웨어 및 알고리즘 접근법을 탐색하기 위해.
• 더 많은 조직과 연구자들이 대규모 LLM 학습에 접근할 수 있도록 개방형 혁신을 촉진하기 위해.

제안 방법

• 초고성능 컴퓨팅, 가속 컴퓨팅, 마이크로프로세서에서 데이터센터 수준까지의 에너지 효율적인 하드웨어를 통합한 공동 설계 프레임워크를 제안한다.
• 디지털에서 아날로그로의 변환 비용을 제거하고 에너지 소비를 줄이기 위해 메모리 내에서 직접 계산을 수행하는 아날로그 내장 계산(IMC)을 도입한다.
• 추론에 비휘류성 나노스케일 메모리(예: 메모리스터 ReRAM)와 학습에 아날로그 CMOS를 활용하여 확장 가능하고 저전력 작동을 가능하게 한다.
• 에너지 기반 모델(EBM)을 적용하여, 특히 양자 기반 히프리드 신경망을 활용해 LLM 학습을 본질적으로 기호 공간에서의 최적화 문제로 재정의한다.
• 혼합 신호 메모리 회로와 새로운 아날로그 오류 보정 기법을 사용하여 정밀도를 확장하고 모델 학습에서 복잡한 고차원 상호작용을 지원한다.
• 입력 공간을 확장하지 않으면서도 의미 관계를 유지하는 방식으로 토큰 표현을 재구성하여, 대규모 파rameter 기반 아키텍처에 대한 의존도를 낮춘다.

실험 결과

연구 질문

• RQ1 기초 모델 학습을 저렴하고 지속 가능하게 만들기 위해 하드웨어, 소프트웨어 및 시스템 아키텍처에서 필요한 체계적 변화는 무엇인가?
• RQ2 아날로그 내장 계산은 대규모 LLM 학습에서 에너지 소비와 지연 시간의 병목 현상을 어떻게 줄일 수 있는가?
• RQ3 프로그래밍 가능한 고차원 상호작용을 갖는 에너지 기반 모델은 학습 효율성을 향상시키고 계산 비용을 줄일 수 있는가?
• RQ4 기본 공간에서 기호적 토큰 표현을 통해 LLM에서 대규모 파rameter화의 필요성을 얼마나 줄일 수 있는가?
• RQ5 혼합 신호 기반 아날로그 시스템을 사용할 경우, 종단 간 LLM 학습에 있어 확장성과 정밀도의 상호 보완적 특성은 어떠한가?

주요 결과

• LLM 학습의 현재 성장 추세—매 4개월마다 파라미터 수가 두 배로 증가—는 지속 불가능한 비용과 에너지 소비를 초래하며, 시장 집중을 위협하고 있다.
• 비휘류성 나노스케일 메모리로 추론을 수행하고 아날로그 CMOS로 학습을 수행함으로써, 아날로그 내장 계산은 메모리 내에서 직접 계산을 수행함으로써 에너지 소비와 지연 시간을 극적으로 줄일 수 있다.
• 에너지 기반 모델, 특히 양자 기반 히프리드 네트워크는 복잡한 고차원 상호작용을 압축된 회로 아키텍처로 모델링할 수 있으며, 해법 탐색 공간을 지수적으로 줄인다.
• 입력 공간을 확장하지 않으면서도 의미 관계를 유지하는 기호적 토큰 표현 방식을 통해 모델은 대규모 파라미터 수에 대한 의존도를 낮추고 계산 오버헤드를 줄일 수 있다.
• 혼합 신호 메모리 회로와 아날로그 오류 보정 기법의 통합은 실세계 LLM 워크로드에 적합한 확장 가능하고 고정밀도 학습을 가능하게 한다.
• 소프트웨어, 알고리즘, 하드웨어 전반에 걸친 공동 설계 접근법이 극적인 비용과 에너지 절감을 달성하기 위해 필수적이며, 이는 기초 모델 학습에 대한 접근의 민주화 가능성을 지닌다.