[논문 리뷰] $MC^2RAM$: Markov Chain Monte Carlo Sampling in SRAM for Fast Bayesian Inference

Priyesh Shukla, Ahish Shylendra외 2명|arXiv (Cornell University)|2020. 02. 28.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC) 샘플링, 난수 생성(RNG), 아날로그-디지털/디지털-아날로그 변환(ADC/DAC)을 모두 SRAM 어레이 내부에 공동 배치함으로써 베이지안 추론을 가속화하는 새로운 SRAM 기반 아키텍처인 MC²RAM을 제안한다. 저해상도 ADC/DAC를 사용하여 현장에서 메트로폴리스-하스팅스 샘플링을 수행하고 공간적 국소성을 활용함으로써, 1GHz에서 2000 사이클에 500개의 샘플을 생성하면서 각 반복당 단지 91μW의 전력 소비를 달성한다. 이는 데이터 이동과 전력 소비를 크게 줄이며 하드웨어 비이상성에도 관용성을 보인다.

ABSTRACT

This work discusses the implementation of Markov Chain Monte Carlo (MCMC) sampling from an arbitrary Gaussian mixture model (GMM) within SRAM. We show a novel architecture of SRAM by embedding it with random number generators (RNGs), digital-to-analog converters (DACs), and analog-to-digital converters (ADCs) so that SRAM arrays can be used for high performance Metropolis-Hastings (MH) algorithm-based MCMC sampling. Most of the expensive computations are performed within the SRAM and can be parallelized for high speed sampling. Our iterative compute flow minimizes data movement during sampling. We characterize power-performance trade-off of our design by simulating on 45 nm CMOS technology. For a two-dimensional, two mixture GMM, the implementation consumes ~ 91 micro-Watts power per sampling iteration and produces 500 samples in 2000 clock cycles on an average at 1 GHz clock frequency. Our study highlights interesting insights on how low-level hardware non-idealities can affect high-level sampling characteristics, and recommends ways to optimally operate SRAM within area/power constraints for high performance sampling.

연구 동기 및 목표

• 전통적인 바나흐만 아키텍처에서의 높은 에너지 소비와 지연 문제를 해결하기 위해 SRAM 내에서 계산과 데이터를 공동 배치함으로써 베이지안 추론의 효율성을 향상시키기 위해.
• 더 표현력이 뛰어난 단일 가우시안 모델보다 더 나은 성능을 보이는 가우시안 혼합 모델(GMM)을 위한 고속도, 저전력 MCMC 샘플링을 가능하게 하기 위해.
• 공정 변동성과 ADC/DAC 정밀도와 같은 하드웨어 비이상성이 MCMC 샘플링 정확도와 성능에 미치는 영향을 탐색하기 위해.
• 베이지안 추론 워크로드를 위한 SRAM 기반 내장 컴퓨팅에서의 전력-면적 트레이드오프를 최적화하기 위해.

제안 방법

• MCMC 샘플링, 파라미터 저장, 난수 생성을 위해 SRAM 어레이 내부에 RNG 셀, DAC, ADC를 직접 통합함으로써 계산과 데이터를 공동으로 위치시킴.
• 지연 시간을 최소화하고 고속도를 지원하기 위해 10개의 비교기로 구성된 2단계 플래시 ADC를 사용함. 이는 높은 전력 소비에도 불구하고 2 사이클의 지연을 보장함.
• 공정 변동성과 채널 길이 조절 효과를 완화하기 위해 캘리브레이션된 트랜지스터와 감소된 터널 전압을 DAC에 적용함.
• 스케일된 난수 단계(R/σ²)를 사용하여 아날로그 도메인에서 밀도 계산을 수행하고, 수용 비율을 아날로그 비교를 통해 계산함.
• 연속적인 샘플이 값에서 가까운 상태를 유지하는 마르코프 체인 기반 반복적 흐름을 적용함으로써 각 반복의 계산 부담을 최소화함.
• DAC 및 ADC에 8비트 정밀도를 사용하며, 분석 결과 5비트 이하의 ADC 정밀도는 샘플링 정확도를 심각하게 떨어뜨림.

실험 결과

연구 질문

• RQ1 SRAM 내에서 계산과 데이터를 공동으로 위치시킴으로써 베이지안 추론을 위한 MCMC 샘플링을 어떻게 가속화할 수 있는가?
• RQ2 ADC/DAC 정밀도와 공정 변동성이 아날로그 SRAM 기반 시스템에서 MCMC 샘플링 정확도에 미치는 영향은 무엇인가?
• RQ3 저정밀도, 내장형 MCMC 샘플링이 전력과 면적을 최소화하면서도 수용 가능한 샘플링 품질을 달성할 수 있는가?
• RQ4 채널 길이 조절 및 불일치와 같은 하드웨어 비이상성이 고수준의 샘플링 특성에 미치는 영향는 어떠한가?
• RQ5 면적과 정밀도 제약 조건 하에서, SRAM 내부 MCMC 샘플링의 최적의 전력-성능 트레이드오프는 무엇인가?

주요 결과

• MC²RAM 아키텍처는 1GHz에서 2000 사이클에 500개의 MCMC 샘플을 생성하면서 각 반복당 단지 91μW의 전력 소비를 달성함.
• ADC 정밀도는 샘플링 정확도에 큰 영향을 미치며, 5비트 이하의 정밀도에서는 기준값과의 KL 발산이 심각하게 증가함.
• DAC 정밀도는 KL 발산에 거의 영향을 주지 않아, DAC 비이상성에 대해 높은 관용성을 보임.
• 2단계 플래시 ADC에 포함된 10개의 비교기는 ADC 전력의 60%를 차지하지만, 2사이클 지연으로 인해 고속도 샘플링을 가능하게 함.
• SRAM와 DAC는 총 전력의 18%를 차지하며, ADC는 82%를 차지하여 주요 전력 소비 요소임.
• GMM 성분 간 간격이 증가하고 차원 수가 높아질수록 샘플링 정확도가 떨어지며, 이는 확장성 문제를 드러냄.