[논문 리뷰] A full-stack view of probabilistic computing with p-bits: devices, architectures and algorithms

Shuvro Chowdhury, A. Grimaldi외 10명|arXiv (Cornell University)|2023. 02. 13.

Ferroelectric and Negative Capacitance Devices인용 수 4

한 줄 요약

이 논문은 p-bit—자기적 잡음을 이용해 에너지 효율적인 확률적 샘플링을 수행하는 하드웨어 추상화 단위—를 사용한 확률적 계산을 위한 풀스택 프레임워크를 제시한다. 스피너트로닉 장치와 CMOS 아키텍처를 통합함으로써, 조합 최적화, 확률적 머신러닝, 양자 시뮬레이션 분야에서 확장 가능하고 병렬화된 샘플링을 가능하게 하여, 기존 방법에 비해 에너지 효율성과 샘플링 속도에서 수개의 지수 수준 향상을 달성한다.

ABSTRACT

The transistor celebrated its 75${}^ ext{th}$ birthday in 2022. The continued scaling of the transistor defined by Moore's Law continues, albeit at a slower pace. Meanwhile, computing demands and energy consumption required by modern artificial intelligence (AI) algorithms have skyrocketed. As an alternative to scaling transistors for general-purpose computing, the integration of transistors with unconventional technologies has emerged as a promising path for domain-specific computing. In this article, we provide a full-stack review of probabilistic computing with p-bits as a representative example of the energy-efficient and domain-specific computing movement. We argue that p-bits could be used to build energy-efficient probabilistic systems, tailored for probabilistic algorithms and applications. From hardware, architecture, and algorithmic perspectives, we outline the main applications of probabilistic computers ranging from probabilistic machine learning and AI to combinatorial optimization and quantum simulation. Combining emerging nanodevices with the existing CMOS ecosystem will lead to probabilistic computers with orders of magnitude improvements in energy efficiency and probabilistic sampling, potentially unlocking previously unexplored regimes for powerful probabilistic algorithms.

연구 동기 및 목표

• 기존 트랜지스터 스케일링의 대안으로 p-bit를 사용한 확률적 컴퓨팅의 풀스택 접근법을 개발하기 위해.
• 나노자기체의 내재된 잡음을 활용하여 인공지능 및 머신러닝 워크로드의 증가하는 에너지 수요를 해결하기 위해.
• 장치, 아키텍처, 알고리즘의 공동 설계를 통해 확장 가능하고 하드웨어 인식 가능한 확률적 알고리즘의 구현을 가능하게 하기 위해.
• 조합 최적화 및 양자 다체계 시뮬레이션과 같은 복잡한 문제를 해결하는 데 있어서 p-컴퓨터의 실현 가능성을 입증하기 위해.

제안 방법

• p-bit는 낮은 에너지 장벽을 가진 확률적 자기터널접합(MTJs)을 사용하여 열 운동에 의한 내재된 확률적 행동을 가능하게 한다.
• 시스템은 확률적 업데이트 규칙을 사용하여 p-bit의 동역학을 모델링한다: $ m_i = \text{sign}[\tanh(\beta I_i) - r_{[-1,+1]}] $, 여기서 $ I_i $ 는 효과적 입력 전류이다.
• 아키텍처는 제한된 연결을 가진 하드웨어 인식 가능한 그래프 구조를 사용하여, 제한된 볼츠만 기계(RBMs)와 같은 복잡한 모델을 p-bit 네트워크에 미니멀 임bedding을 통해 매핑한다.
• 하이브리드 고전-확률 컴퓨팅 파이프라인은 반복적 샘플링과 가중치 업데이트를 수행하여 p-bit 샘플러를 사용한 변분 양자 시뮬레이션을 가능하게 한다.
• 프레임워크는 알고리즘-아키텍처-장치 공동 설계를 지원하며, 병렬 온도 조절 및 비평형 몬테카를로와 같은 고급 샘플링 기법을 통합한다.
• 에너지 효율성은 대량의 병렬 처리, 파이프라인 처리 및 희박화를 통해 향상되어 시냅스 팬아웃과 전력 소비를 감소시킨다.

Figure 1: bit, p-bit, and qubit : Each column shows a schematic representation of the basic computational units of classical computing (left), probabilistic computing (middle), and quantum computing (right). These are, respectively, the bit, the p-bit, and the qubit.

실험 결과

연구 질문

• RQ1 스핀트로닉 나노자기체에서 제작된 p-bit는 실세계 응용 분야에서 에너지 효율적이고 확장 가능한 확률적 샘플링을 달성할 수 있는가?
• RQ2 p-bit 아키텍처를 알고리즘과 공동 설계하면 조합 최적화에서 샘플링 속도와 해의 품질을 최대화할 수 있는가?
• RQ3 p-컴퓨터는 변분 양자 몬테카를로 방법을 사용하여 양자 다체계를 어느 정도 시뮬레이션할 수 있는가?
• RQ4 하드웨어 인식 가능한 그래프 임bedding은 깊은 확률적 모델을 p-bit 시스템에 효율적으로 매핑하는 데 어떤 역할을 하는가?
• RQ5 알고리즘, 아키텍처, 장치의 공동 설계는 샘플링 처리량과 에너지 효율성에서 수개의 지수 수준 향상을 이끌 수 있는가?

주요 결과

• 확률적 자기터널접합에 구현된 p-bit는 최소한의 에너지 입력으로 내재된 확률적 행동을 가능하게 하며, 열 잡음을 통해 고속 샘플링을 달성한다.
• 희박하고 하드웨어 인식 가능한 그래프 구조의 사용은 RBMs를 p-bit 네트워크에 효율적으로 매핑할 수 있게 하여 팬아웃을 감소시키고 확장 가능한 구현을 가능하게 한다.
• 하이브리드 고전-확률 컴퓨팅 파이프라인은 p-bit 샘플링을 사용한 변분 몬테카를로 방법으로 1차원 FM 헤이젠베르크 해밀토니안의 기저 상태를 성공적으로 시뮬레이션하였다.
• 시스템은 기존의 CMOS 기반 샘플러에 비해 에너지 효율성과 샘플링 속도에서 수개의 지수 수준 향상을 보여주며 잠재력을 입증하였다.
• 병합 온도 조절 및 비평형 몬테카를로와 같은 고급 샘플링 기법은 p-bit 시스템에 통합되어 해의 품질과 수렴 속도를 더욱 향상시킬 수 있다.
• 알고리즘, 아키텍처, 장치의 공동 설계를 통해 p-컴퓨터는 양자 시뮬레이션 및 에너지 기반 AI 모델 분야에서 이전에 탐색되지 않은 영역에 접근할 수 있게 되었다.

Figure 2: Applications of probabilistic computing : Potential applications of p-bits are illustrated. The list broadly includes problems in combinatorial optimization, probabilistic machine learning, and quantum simulation.