[논문 리뷰] Learning Machines Implemented on Non-Deterministic Hardware

Suyog Gupta, Vikas Sindhwani외 1명|arXiv (Cornell University)|2014. 09. 09.

Low-power high-performance VLSI design참고 문헌 24인용 수 3

한 줄 요약

이 논문은 정밀도를 희생하여 속도와 에너지 효율성을 높이는 비결정적이고 확률적인 하드웨어에 핵심 행렬 연산을 오프로드하여 머신 러닝 워크로드를 가속화하는 방법을 제안한다. 디지털 스토하스틱 회로를 사용해 행렬 곱셈을 근사화함으로써, 저자들은 이 노이지한 하드웨어에서 훈련된 딥 뉴럴 네트워크가 정밀한 계산과 비교해 유사하거나 약간 향상된 테스트 정확도를 달성함을 입증하여, 대규모 학습 시스템에 대한 오차 내성 하드웨어-소프트웨어 공동 설계의 실현 가능성을 확인한다.

ABSTRACT

This paper highlights new opportunities for designing large-scale machine learning systems as a consequence of blurring traditional boundaries that have allowed algorithm designers and application-level practitioners to stay -- for the most part -- oblivious to the details of the underlying hardware-level implementations. The hardware/software co-design methodology advocated here hinges on the deployment of compute-intensive machine learning kernels onto compute platforms that trade-off determinism in the computation for improvement in speed and/or energy efficiency. To achieve this, we revisit digital stochastic circuits for approximating matrix computations that are ubiquitous in machine learning algorithms. Theoretical and empirical evaluation is undertaken to assess the impact of the hardware-induced computational noise on algorithm performance. As a proof-of-concept, a stochastic hardware simulator is employed for training deep neural networks for image recognition problems.

연구 동기 및 목표

• 비결정적이고 근사적인 하드웨어를 사용해 대규모 머신 러닝 워크로드를 가속화할 수 있는지의 실현 가능성을 탐색하기 위해.
• 무어의 법칙 둔화로 인해 전통적인 일반 목적 프로세서의 성능 및 에너지 효율성 격차가 커지는 문제를 해결하기 위해.
• 머신 러닝 알고리즘의 내재된 노이즈 내성 특성을 활용하는 하드웨어-소프트웨어 공동 설계 프레임워크를 설계하기 위해.
• 스토하스틱 하드웨어에 의해 유도되는 노이즈가 정확도를 희생시키지 않고도 학습 성능을 향상시키거나 유지하는 데 활용될 수 있는지 평가하기 위해.
• 소프트웨어 개발 오버헤드를 최소화하고 프로그래밍 모델을 그대로 유지함으로써 이러한 가속기의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 저자들은 수치를 랜덤 비트 시퀀스로 표현하는 디지털 스토하스틱 회로를 사용하여, 머신 러닝의 핵심이 되는 행렬 곱셈의 근사 계산을 가능하게 한다.
• 스토하스틱 계산에 의해 유도되는 통계적 오차를 모델링하기 위한 고수준 추상화를 도입한다. 특히 행렬 곱셈 커널에서의 오차에 중점을 둔다.
• 스토하스틱 하드웨어 가속기를 훈련 파이프라인에 통합하여, 백프로파게이션과 같은 계산 집약적인 작업을 수행한다.
• 노이즈 수준을 제어하기 위해 조정 가능한 스토하스틱 비트 시퀀스 길이 N을 새로운 하이퍼파라미터로 도입한다.
• 호스트 프로세서는 가속기를 관리하고 훈련을 조율하며, 스토하스틱 하드웨어는 순방향 및 역방향 전파 중에 제어된 노이즈를 도입한다.
• 스토하스틱 하드웨어에서의 노이즈 수준을 N 값으로 정의한 다양한 조건에서 MNIST 데이터셋을 사용한 딥 뉴럴 네트워크를 대상으로 평가한다.

실험 결과

연구 질문

• RQ1 비결정적이고 근사적인 하드웨어를 사용해 정확도를 저하시키지 않고 머신 러닝을 가속화할 수 있는가?
• RQ2 스토하스틱 회로에서 유도되는 하드웨어 유도 노이즈가 기울기 기반 학습 알고리즘의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 스토하스틱 계산에 의해 유도되는 노이즈가 딥 뉴럴 네트워크의 일반화 성능을 향상시키는 정규화 효과를 가지는가?
• RQ4 스토하스틱 비트 시퀀스 길이 N이 훈련 안정성과 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 기존 머신 러닝 워크플로우에 스토하스틱 하드웨어 가속기를 통합할 때 프로그래밍 모델을 그대로 유지할 수 있는가?

주요 결과

• N = 256로 설정된 스토하스틱 하드웨어에서 훈련된 딥 뉴럴 네트워크는 정확도가 1.62%로 제어 모델의 1.75%보다 약간 높았다.
• 스토하스틱 비트 시퀀스 길이 N을 줄이면 훈련 교차 엔트로피 오차는 단조적으로 증가했지만, 테스트 정확도는 모든 테스트된 N 값에서 안정적이거나 향상되었다.
• 노이지한 하드웨어에서 훈련했을 때 분류 정확도가 향상된 것은 스토하스틱 노이즈가 약한 정규화 효과를 가지며 일반화 성능을 향상시킬 수 있음을 시사한다.
• 스토하스틱 하드웨어에서 스택드 스퍼스 오토에인코더를 사용한 가중치 사전 훈련을 통해 훈련된 네트워크는 제어 모델의 테스트 오차가 1.35%였고, 스토하스틱 하드웨어 훈련 결과는 더 낮은 오차를 기록했다.
• N 값 범위(64에서 512)가 정밀 계산보다 유사하거나 더 좋은 성능을 내는 것으로 나타나, 하드웨어 노이즈에 대한 넓은 내성 창이 있음을 시사한다.
• 결과적으로 스토하스틱 하드웨어는 소프트웨어 스택이나 모델 아키텍처를 변경하지 않고도 실용적인 가속기로 사용될 수 있음을 입증한다.