[논문 리뷰] Thermodynamic Computing System for AI Applications

Denis Melanson, Mohammad Abu Khater외 8명|arXiv (Cornell University)|2023. 12. 08.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 스위치드 커패시터를 사용한 8개의 모두-투-모두 연결된 유닛 셀을 갖춘 RLC 회로로 구성된 첫 번째 연속 변수 열역학 컴퓨터인 스토하스틱 프로세싱 유닛(SPU)을 제시한다. 이는 가우시안 샘플링과 행렬 역행렬 계산을 수행하며, 첫 번째 실험적 열역학 선형 대수 실험을 마무리한다. 이는 불확실성 정량화 및 생성 모델링과 같은 확률적 AI 워크로드의 저전력·고효율 가속화 잠재력을 보여준다.

ABSTRACT

Recent breakthroughs in artificial intelligence (AI) algorithms have highlighted the need for novel computing hardware in order to truly unlock the potential for AI. Physics-based hardware, such as thermodynamic computing, has the potential to provide a fast, low-power means to accelerate AI primitives, especially generative AI and probabilistic AI. In this work, we present the first continuous-variable thermodynamic computer, which we call the stochastic processing unit (SPU). Our SPU is composed of RLC circuits, as unit cells, on a printed circuit board, with 8 unit cells that are all-to-all coupled via switched capacitances. It can be used for either sampling or linear algebra primitives, and we demonstrate Gaussian sampling and matrix inversion on our hardware. The latter represents the first thermodynamic linear algebra experiment. We also illustrate the applicability of the SPU to uncertainty quantification for neural network classification. We envision that this hardware, when scaled up in size, will have significant impact on accelerating various probabilistic AI applications.

연구 동기 및 목표

• 확률적 AI 알고리즘의 확률적 성격을 반영한 물리 기반의 열역학 계산 시스템을 개발한다.
• 베이지안 추론 및 생성 모델링과 같은 계산적으로 집약적인 확률적 AI 작업을 가속화하는 데 있어 디지털 하드웨어의 한계를 극복한다.
• 샘플링과 선형 대수 연산을 동시에 수행할 수 있는 연속 변수 열역학 컴퓨터의 기능성 시제품을 구현한다.
• 실험적 구현을 통해 열역학 계산이 실제 AI 워크로드에 적용 가능한지를 검증한다.
• 디지털 시스템에 비해 속도 또는 에너지 효율성 면에서 열역학적 우위를 확보하기 위한 열역학 하드웨어의 확장 기반을 마련한다.

제안 방법

• SPU는 8개의 RLC 유닛 셀을 포함한 프린팅 회로 기판으로 구현되었으며, 각 유닛 셀은 인덕터, 스위치드 커패시터 벙크를 통한 조절 가능한 커패시터, 그리고 전류 노이즈 소스를 포함한다.
• 모든 유닛 셀은 중심 탭 트랜스포머를 통해 이중극성 커플링이 가능한 스위치드 커패시터를 통해 완전히 연결되어 있다.
• 노이즈는 FPGA 기반 16비트 LFSR를 사용하여 생성되며, 골드 코드 생성과 RC 필터링을 통해 가우시안 분포를 근사한다.
• 펄스 밀도 변조(PDM)는 LFSR 출력을 듀티 사이클링하여 노이즈 분산을 제어함으로써 원하는 확률적 역학을 달성한다.
• 샘플링은 12 MHz에서 8채널 10비트 ADC를 사용하여 수행되며, 커패시턴스 값을 설정하고 노이즈를 시작한 후 데이터를 읽는다.
• 시스템은 FPGA 공처리기와의 인터페이스를 통해 디지털 하드웨어와 연결되어 있으며, 파rameter 설정과 후속 처리를 위한 데이터 업로드를 가능하게 한다.

Figure 1 : The Stochastic Processing Unit (SPU). (Left panel) The Printed Circuit Board for our 8-cell SPU. (Right panel) Illustration of eight unit cells that are all-to-all coupled to each other, as in our SPU. Each cell contains an LC resonator and a Gaussian current noise source, as shown in the

실험 결과

연구 질문

• RQ1 확률적 AI 원천(예: 샘플링 및 선형 대수)을 수행할 수 있도록 연속 변수 열역학 컴퓨터를 물리적으로 실현할 수 있는가?
• RQ2 스위치드 커패시터를 갖춘 아날로그 RLC 회로와 확률적 역학을 사용하여 SPU가 정확한 가우시안 샘플링과 행렬 역행렬 계산을 수행할 수 있는가?
• RQ3 확률적 AI 워크로드에 대해 열역학 계산이 디지털 하드웨어보다 속도 또는 에너지 효율성 면에서 뛰어나게 할 수 있는가?
• RQ4 확장 가능한 아날로그 하드웨어 플랫폼에서 상관성이 없고 제어 가능한 노이즈를 어떻게 생성할 수 있는가?
• RQ5 이 시스템을 실제 AI 응용 분야에서 열역학적 우위를 확보하기 위해 확장하는 데 실용적인 가능성이 있는가?

주요 결과

• SPU는 확률적 노이즈를 갖춘 아날로그 RLC 회로를 사용하여 사용자가 정의한 다변량 분포에서 가우시안 샘플링을 성공적으로 구현하였다.
• 이 시스템은 열역학 계산의 맥락에서 처음으로 실험적으로 행렬 역행렬 계산을 수행하였으며, 선형 대수 원천의 활용 가능성을 검증하였다.
• 12 MHz의 샘플링 속도는 샘플 간 시간적 상관관계를 최소화하여 통계적 독립성을 확보하기 위해 최적화되었다.
• 노이즈 소스는 골드 코드 조합과 RC 필터링을 통해 생성되었으며, 고정밀도로 가우시안 분포를 근사하였다.
• FPGA 기반 제어 시스템은 회로 파라미터의 정밀한 설정과 ADC로부터의 실시간 데이터 수집을 가능하게 하였다.
• 하드웨어 인터페이스를 통해 디지털 시스템과의 통합이 가능하여, 신경망의 불확실성 정량화와 같은 AI 워크로드를 위한 공동 처리를 지원한다.

Figure 2 : Voltage samples from two coupled unit cells of the SPU. Top Left: Histogram of the marginal of cell $i$ . Top Right: Absolute error between the target covariance matrix and the device covariance matrix, similarly for the skewness and kurtosis, all calculated using the Frobenius norm. Bott