[논문 리뷰] Challenges and Opportunities to Enable Large-Scale Computing via Heterogeneous Chiplets

Zhuoping Yang, Shixin Ji외 5명|arXiv (Cornell University)|2023. 11. 28.

Modular Robots and Swarm Intelligence인용 수 6

한 줄 요약

이 논문은 비균질 칩렛 아키텍처를 통해 대규모 AI 워크로드—특히 생성형 AI 및 대규모 언어 모델—을 구현함에 있어 발생하는 과제와 기회를 조사한다. 상호연결, 보안, 프로그래밍 추상화 문제를 해결하기 위해 통합 소프트웨어 스택과 하드웨어-소프트웨어 공동 설계 프레임워크를 제안하며, 다수의 벤더가 참여하는 칩렛 시스템에서 성능, 비용 효율성, 확장성에 중점을 둔다.

ABSTRACT

Fast-evolving artificial intelligence (AI) algorithms such as large language models have been driving the ever-increasing computing demands in today's data centers. Heterogeneous computing with domain-specific architectures (DSAs) brings many opportunities when scaling up and scaling out the computing system. In particular, heterogeneous chiplet architecture is favored to keep scaling up and scaling out the system as well as to reduce the design complexity and the cost stemming from the traditional monolithic chip design. However, how to interconnect computing resources and orchestrate heterogeneous chiplets is the key to success. In this paper, we first discuss the diversity and evolving demands of different AI workloads. We discuss how chiplet brings better cost efficiency and shorter time to market. Then we discuss the challenges in establishing chiplet interface standards, packaging, and security issues. We further discuss the software programming challenges in chiplet systems.

연구 동기 및 목표

• 대규모 언어 모델과 생성형 AI로 인해 증가하는 데이터센터 내 고성능·에너지 효율적 컴퓨팅 수요를 충족시키기 위해.
• 단일 칩 ASIC과 기존 가속기의 한계를 극복하기 위해 다수의 벤더에서 제공하는 칩렛 기반 비균질 통합을 활용하기 위해.
• 칩렛 시스템의 핵심 하드웨어 및 소프트웨어 과제인 상호연결 표준, 패키징, 보안, 프로그래밍 추상화를 식별하고 해결하기 위해.
• 비균질 칩렛 간 이식 가능하고 효율적이며 확장 가능한 애플리케이션 배포를 가능하게 하는 통합 소프트웨어 인fra를 제안하기 위해.
• 표준화된 인터페이스를 갖춘 모듈식이고 재사용 가능한 칩렛 설계를 통해 시장 진입 시간을 단축하고 비용 효율성을 향상시키기 위해.

제안 방법

• BERT 및 GPT와 같은 모델에서 데이터 이동과 계산 요구사항을 특성화하기 위해 산술 강도와 계산 대 통신(Calculation-to-Communication, CTC) 비율을 분석하여 AI 워크로드를 분석한다.
• 측면 채널 공격 및 오작동 공격 방지를 위해 센서와 PUF를 내장한 HSM(Hardware Security Module) 칩렛을 제안하는 하드웨어 수준의 솔루션을 제시한다.
• 암호화 및 인증된 통신을 가능하게 하기 위해 암호 모듈을 사용하는 CSIP(Chip-to-Chip Secure Interconnect Protocol)를 도입하여 칩렛 간 통신을 보호한다.
• 비균질 칩렛 간 통합적이고 이식 가능한 프로그래밍을 가능하게 하기 위해 SYCL, oneAPI, MLIR, ScaleHLS, HeteroCL 등의 소프트웨어 스택 옵션을 평가한다.
• 워크로드 매핑과 시스템 수준 성능 최적화를 위해 통신 인식 매핑 및 공동 설계 프레임워크(예: H2H, CHARM)를 제안한다.
• 비전문가 개발자가 고성능 FPGA 및 가속기 코드를 효과적으로 구현할 수 있도록 칩렛 시스템에 특화된 자동화된 설계 공간 탐색(DSE) 도구의 도입을 주장한다.

실험 결과

연구 질문

• RQ1 LLM 추론 및 학습과 같은 다양한 변화하는 AI 워크로드의 요구사항을 충족시키기 위해 비균질 칩렛을 어떻게 효과적으로 조율할 수 있는가?
• RQ2 다양한 벤더의 칩렛을 상호연결할 때 발생하는 핵심 하드웨어 과제는 무엇이며, 표준 인터페이스와 고급 패키징을 통해 어떻게 해결할 수 있는가?
• RQ3 다중 임차 환경에서의 데이터센터 내 물리적 접근 위험을 고려할 때 칩렛 시스템의 보안을 어떻게 확보할 수 있는가?
• RQ4 비균질 칩렛 간 이식 가능하고 고성능 코드를 구현하기 위해 가장 효과적인 소프트웨어 추상화와 프로그래밍 모델은 무엇인가?
• RQ5 자동화된 설계 공간 탐색 및 공동 설계 프레임워크는 칩렛 기반 시스템에서 성능을 향상시키고 개발 복잡성을 어떻게 줄일 수 있는가?

주요 결과

• 칩렛 기반 시스템은 단일 칩 ASIC의 설계 주기를 년 수준에서 수개월 수준으로 단축시키며, 비용도 수백만 달러에서 수천 달러 수준으로 낮춰 시장 진입 시간과 비용 효율성을 크게 향상시킨다.
• GPT-2는 산술 강도가 단지 2에 불과하지만, BERT-Large는 266에 이르며, 이는 계산 및 통신 요구사항이 극명하게 다름을 시사하며, 워크로드 인식 기반의 하드웨어 설계가 필요함을 나타낸다.
• CTC 비율은 모델과 레이어 간에 크게 다름을 보이며, 행렬 곱셈은 계산 집약적이지만 Softmax 연산은 데이터 이동 집약적임을 보여주며, 메모리 및 대역폭 최적화가 맞춤형으로 필요함을 시사한다.
• 내장된 센서와 PUF를 갖춘 HSM 칩렛은 탐색 및 오작동 공격을 탐지할 수 있으며, 제로데이 위협에 대응하기 위해 런타임 보안 정책 업데이트를 지원한다.
• CSIP는 칩렛 간 인증된 암호화된 통신을 가능하게 하지만, 효과적으로 작동하려면 신뢰할 수 있는 벤더와 암호화 하드웨어가 필요하다.
• oneAPI 및 MLIR(예: ScaleHLS, HeteroCL)와 같은 통합 프로그래밍 프레임워크는 비균질 칩렛 간 이식 가능하고 고성능 코드를 구현하는 데 유망한 성과를 보였지만, 완전한 상호운용성은 여전히 열린 과제이다.