[논문 리뷰] Challenges and Research Directions for Large Language Model Inference Hardware

Xiaoyu Ma, David Patterson|arXiv (Cornell University)|2026. 01. 08.

Advanced Neural Network Applications인용 수 0

한 줄 요약

본 논문은 LLM 추론의 병목 현상이 컴퓨팅이 아니라 메모리와 상호 연결에 있다고 주장하고, 이러한 한계를 해결하기 위한 네 가지 아키텍처 연구 기회를 제시하며, 데이터센터 AI 및 모바일 적용 가능성에 대한 논의를 담고 있다.

ABSTRACT

Large Language Model (LLM) inference is hard. The autoregressive Decode phase of the underlying Transformer model makes LLM inference fundamentally different from training. Exacerbated by recent AI trends, the primary challenges are memory and interconnect rather than compute. To address these challenges, we highlight four architecture research opportunities: High Bandwidth Flash for 10X memory capacity with HBM-like bandwidth; Processing-Near-Memory and 3D memory-logic stacking for high memory bandwidth; and low-latency interconnect to speedup communication. While our focus is datacenter AI, we also review their applicability for mobile devices.

연구 동기 및 목표

• 대형 언어 모델(LLM) 추론의 주요 하드웨어 병목 현상을 식별한다.
• LLM 추론을 위한 메모리 용량과 대역폭을 확장하기 위한 아키텍처 연구 방향을 제안한다.
• 제안된 하드웨어 접근법의 데이터센터 AI 및 모바일 기기에의 적용 가능성을 평가한다.
• LLM 추론 하드웨어의 향후 연구의 격차와 방향을 강조한다.

제안 방법

• LLM 추론에서의 아키텍처적 도전을 검토하고 종합한다.
• 네 가지 핵심 아키텍처 기회를 강조한다: 고대역폭 플래시(High Bandwidth Flash), 프로세싱-네어 메모리(Processing-Near-Memory), 3D 메모리-로직 적층, 그리고 저지연 인터커넥트.
• 데이터센터 AI 및 모바일 맥락에의 적용 가능성을 논의한다.

실험 결과

연구 질문

• RQ1 훈련과 비교했을 때 LLM 추론의 주요 하드웨어 병목은 무엇인가?
• RQ2 LLM 추론을 위한 더 높은 메모리 용량과 대역폭을 제공할 수 있는 어떤 아키텍처 전략이 있는가?
• RQ3 메모리에 근접한 처리(near-memory processing)와 3D 메모리-로직 적층이 LLM 추론의 대기시간을 어떻게 줄이고 처리량을 향상시킬 수 있는가?
• RQ4 인터커넥트 대기시간이 LLM 추론 성능에서 어떤 역할을 하며, 이를 어떻게 완화할 수 있는가?
• RQ5 제안된 하드웨어 전략은 모바일 기기와 데이터센터 AI 배치에 각각 얼마나 적용 가능한가?

주요 결과

• 메모리와 인터커넥트를 컴퓨트가 아닌 LLM 추론의 주요 병목으로 식별한다.
• 이 병목을 해결하기 위한 네 가지 아키텍처 방향에 중점을 둔다: 고대역폭 플래시, 프로세싱-네어 메모리, 3D 메모리-로직 적층, 그리고 저지연 인터커넥트.
• 데이터센터 AI에 대한 이러한 접근의 적합성에 대한 논의와 모바일 적용 가능성에 대한 평가를 제공한다.