[논문 리뷰] Building fast Bayesian computing machines out of intentionally stochastic, digital parts

Vikash K. Mansinghka, Eric Jonas|arXiv (Cornell University)|2014. 02. 20.

Advanced Memory and Neural Computing참고 문헌 40인용 수 12

한 줄 요약

이 논문은 대규모 병렬 처리를 활용하는 의도적인 불확실성과 저정밀도 디지털 회로를 사용하여 빠른 베이지안 추론을 위한 새로운 아키텍처를 소개한다. 확률적 추론을 확률적 디지털 게이트를 통한 마르코프 체인 샘플링으로 모델링함으로써, 저자들은 10,000개 이상의 잠재 변수에 대해 실시간 추론을 달성하였으며, 일반 소비자용 마이크로프로세서 대비 1,000배 빠른 속도를 기록하면서도 초저전력 및 저비트 정밀도에서 작동한다.

ABSTRACT

The brain interprets ambiguous sensory information faster and more reliably than modern computers, using neurons that are slower and less reliable than logic gates. But Bayesian inference, which underpins many computational models of perception and cognition, appears computationally challenging even given modern transistor speeds and energy budgets. The computational principles and structures needed to narrow this gap are unknown. Here we show how to build fast Bayesian computing machines using intentionally stochastic, digital parts, narrowing this efficiency gap by multiple orders of magnitude. We find that by connecting stochastic digital components according to simple mathematical rules, one can build massively parallel, low precision circuits that solve Bayesian inference problems and are compatible with the Poisson firing statistics of cortical neurons. We evaluate circuits for depth and motion perception, perceptual learning and causal reasoning, each performing inference over 10,000+ latent variables in real time - a 1,000x speed advantage over commodity microprocessors. These results suggest a new role for randomness in the engineering and reverse-engineering of intelligent computation.

연구 동기 및 목표

• 생물학적 뇌와 현대 컴퓨터 사이의 효율성 격차를 확률적 추론 문제 해결에서 해소하기 위해.
• 신뢰할 수 없고 느린 구성 요소를 사용하여도 신속하고 신뢰할 수 있는 추론을 수행할 수 있는 뇌의 능력을 역공학하기 위해.
• 무작위성이 효율적인 베이지안 계산을 위한 핵심 설계 원칙이 되는 새로운 계산 철학을 개발하기 위해.
• 대규모 병렬 처리, 저정밀도 디지털 하드웨어를 사용하여 복잡한 모델(예: MRF, 딜리클루스 프로세스 혼합 모델)에서 실시간 추론을 가능하게 하기 위해.

제안 방법

• 입력에 기반해 조건부 확률 분포에서 무작위 표본을 생성하는, 결정론적 출력이 아닌 확률적 디지털 게이트 설계.
• 이러한 게이트를 동기식 클럭 회로로 조합하여 베이지안 추론을 위한 마르코프 체인 몬테카를로(MCMC) 샘플링을 자연스럽게 구현.
• 입력 에너지의 표현을 위한 맞춤형 고정소수점 코딩 방식을 사용하여 저비트 정밀도(예: 8비트 이하)에서 정확도를 확보.
• 기본 원리에서 더 큰 회로를 구성하기 위해 수학적 조합 법칙을 적용하여 추상화 및 행동 검증을 가능하게 함.
• 베이지안 네트워크 또는 인자 그래프로 지정된 원인 또는 확률 모델에서 하드웨어 회로를 자동 생성하는 컴파일러 개발.
• 마르코프 무작위 장(MRF)과 비모수 혼합 모델을 사용하여 깊이/운동 인식, 지각 학습, 원인 추론을 위한 회로 구현.

실험 결과

연구 질문

• RQ1 의도적인 불확실성 디지털 구성 요소를 사용하여 빠르고 저전력의 베이지안 추론 장치를 구축할 수 있는가?
• RQ2 저정밀도 디지털 하드웨어를 사용하여 확률적 모델에서 대규모 병렬 처리를 어떻게 활용할 수 있는가?
• RQ3 저정밀도 확률적 회로가 베이지안 추론 작업에서 얼마나 정확성을 유지할 수 있는가?
• RQ4 컴파일러가 고수준의 확률 모델에서 효율적인 하드웨어 회로를 자동 생성할 수 있는가?
• RQ5 실세계 추론 작업에서 스토하스틱 디지털 회로의 성능이 소프트웨어 구현과 비교하여 어떻게 되는가?

주요 결과

• 하드웨어 프로토타입은 10,000개 이상의 잠재 변수에 대해 실시간으로 베이지안 추론을 수행하며, 일반 소비자용 마이크로프로세서 대비 1,000배 빠른 속도를 기록한다.
• 8비트 정밀도에서도 높은 정확도를 유지하며, 전체 정밀도 시뮬레이션과 비교해 상대 엔트로피 손실이 거의 없었다.
• 깊이 인식 시스템은 소프트웨어 대비 에너지-지연 제품에서 500배 빠른 성능을 보였으며, 하드웨어는 프레임당 약 200ms 내외로 작동했다.
• 운동 인식 시스템은 하드웨어가 프레임당 약 200ms 내외로 추론을 완료하여 실시간 성능을 달성했으며, 소프트웨어 대비 500배 이상 빠른 성능을 보였다.
• 디릴루스 프로세스 혼합 모델을 위한 스토하스틱 디지털 회로는 지도 학습 없이도 MNIST 숫자에서 3~4개의 클러스터를 자동으로 발견했으며, ROC AUC 점수는 최첨단 분류기와 경쟁 수준이었다.
• 스피킹 신경망 구현된 스토하스틱 회로는 기반 마르코프 체인의 정확한 사후 분포를 정확히 재현하여 설계의 정확성을 검증했다.