[논문 리뷰] AI and ML Accelerator Survey and Trends

Albert Reuther, Peter Michaleas외 4명|arXiv (Cornell University)|2022. 10. 08.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 최근 3년간 공개된 AI 및 머신러닝 가속기의 개요를 제시하며, 딥 뉴럴 네트워크/컨volutional 네트워크 추론 프로세서, 뉴로모픽 칩(예: Loihi), 광학 프로세서, 메모리스터 기반 시스템을 포함한 다양한 아키텍처에서의 최고 성능 및 전력 효율성에 중점을 둡니다. 성능 대 전력의 업데이트된 산점도를 제시하고 가속기 설계의 새로운 추세를 식별하며 임베디드 및 데이터센터 응용 분야에서의 계산 효과성 간의 상충 관계를 분석합니다.

ABSTRACT

This paper updates the survey of AI accelerators and processors from past three years. This paper collects and summarizes the current commercial accelerators that have been publicly announced with peak performance and power consumption numbers. The performance and power values are plotted on a scatter graph, and a number of dimensions and observations from the trends on this plot are again discussed and analyzed. Two new trends plots based on accelerator release dates are included in this year's paper, along with the additional trends of some neuromorphic, photonic, and memristor-based inference accelerators.

연구 동기 및 목표

• 측정된 최고 성능 및 전력 소비를 기반으로 최근 3년간 공개된 AI 및 머신러닝 가속기의 종합적이고 최신 정보를 제공한다.
• 특히 저전력 임베디드 시스템과 고성능 데이터센터를 위한 추론 워크로드에 초점을 맞춘 가속기 설계의 추세를 분석한다.
• 뉴로모픽, 광학, 메모리스터 기반 프로세서와 같은 새로운 비전통적 가속기 기술을 평가한다.
• 다양한 정밀도 형식(int8, bfloat16, fp16)과 아키텍처 접근 방식 간의 계산 효과성을 비교한다.
• 크기, 무게, 전력 제약 조건이 있는 환경에 적합한 가속기를 식별하여 방위 및 국가안보 응용 분야를 지원한다.

제안 방법

• 2020년에서 2023년 사이에 출시된 150개 이상의 AI 가속기에서 공개된 성능 및 전력 데이터를 수집하고 정리하였다.
• 가속기 유형 간 성능 대 전력 효율성의 상충 관계를 시각화하기 위해 최고 성능(TOPS) 대 전력 소비(W)를 산점도로 그렸다.
• 응용 분야(엣지, 데이터센터, 임베디드)와 기술 유형(GPU, TPU, FPGA, 뉴로모픽, 광학, 메모리스터)에 따라 가속기를 그룹화하였다.
• 가속기 출시 일자를 기준으로 시간 순서의 산점도를 활용하여 성능 및 효율성의 변화 추세를 추적하였다.
• 혼합 정밀도 추론(int8, bfloat16, fp16) 지원 여부를 평가하고, 이들이 계산 처리량에 미치는 영향을 분석하였다.
• Loihi(뉴로모픽), 광학 코프로세서, Knowm 메모리스터와 같은 신기술의 사례 연구 및 참고 자료를 포함하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 추론을 위한 AI 가속기에서 현재의 성능 및 전력 효율성 추세는 무엇인가요?
• RQ2 뉴로모픽, 광학, 메모리스터 기반 가속기는 기존 GPU 및 TPU 아키텍처에 비해 성능 및 에너지 효율성에서 어떻게 비교되나요?
• RQ3 에지와 데이터센터를 포함한 다양한 응용 분야에서 현대 AI 가속기의 주요 설계 상충 관계는 무엇인가요?
• RQ4 최근 3년간 AI 가속기의 개발 주기는 어떻게 변화했으며, 시장 진입 시간에 영향을 주는 요인들은 무엇인가요?
• RQ5 혼합 정밀도 형식(int8, bfloat16)이 AI 가속기의 계산 효과성 결정에 어떤 역할을 하나요?

주요 결과

• Loihi 2와 같은 뉴로모픽 가속기는 스파iking 신경망 추론을 위해 초저전력 소비(100mW 이하)를 구현하여 에너지 제약 조건이 있는 환경에서 실시간 처리가 가능합니다.
• 실리콘 포토닉스와 푸리에 광학을 활용한 광학 가속기는 특정 연산(예: 컬러레이션 및 행렬 곱셈)에서 GPU 대비 이론적 성능 향상 최대 100배를 달성합니다.
• 메모리스터 기반 가속기는 메모리 내 계산에 잠재력을 보이며, Knowm 장치는 개념 증명 연구에서 마이크로초 이하의 스위칭 속도와 낮은 단위 연산 에너지를 달성했습니다.
• 최근 3년간 현대 AI 가속기의 성능 대 전력 효율성은 2.5배에서 3배 향상되었으며, 많은 신제품이 int8 추론에서 100 TOPS/W 이상을 달성했습니다.
• 데이터플로우 아키텍처를 기반으로 한 가속기(예: MIT의 Eyeriss)는 특히 에지 응용 분야에서 CNN 추론에 있어 뛰어난 에너지 효율성을 보입니다.
• 다른 성과에도 불구하고 신규 가속기의 개발 주기는 여전히 길며 일반적으로 2~4년이 소요되어 혁신을 위해 지속적인 R&D 투자가 필요합니다.