[논문 리뷰] ApproxDBN: Approximate Computing for Discriminative Deep Belief Networks

Xiaojing Xu, Srinjoy Das외 1명|arXiv (Cornell University)|2017. 04. 13.

Low-power high-performance VLSI design참고 문헌 11인용 수 3

한 줄 요약

이 논문은 정확도 손실이 10% 미만으로 유지되면서 MNIST에서 최대 90%의 전력 절감을 달성하는 약간의 계산을 이용한 에너지 효율적인 추론을 위한 ApproxDBN 프레임워크를 제안한다. 이는 임계도 분석을 통해 저항성 있는 뉴런을 식별하고, 반복적인 비트 길이 감소 및 점진적 재학습을 조합함으로써 달성된다.

ABSTRACT

Probabilistic generative neural networks are useful for many applications, such as image classification, speech recognition and occlusion removal. However, the power budget for hardware implementations of neural networks can be extremely tight. To address this challenge we describe a design methodology for using approximate computing methods to implement Approximate Deep Belief Networks (ApproxDBNs) by systematically exploring the use of (1) limited precision of variables; (2) criticality analysis to identify the nodes in the network which can operate with such limited precision while allowing the network to maintain target accuracy levels; and (3) a greedy search methodology with incremental retraining to determine the optimal reduction in precision to enable maximize power savings under user-specified accuracy constraints. Experimental results show that significant bit-length reduction can be achieved by our ApproxDBN with constrained accuracy loss.

연구 동기 및 목표

• 모바일 및 IoT 기기용 딥 벨리프 네트워크의 하드웨어 구현에서 높은 전력 소모 문제를 해결하기 위해.
• 신경망의 본질적 오차 내성 특성을 활용하여 정밀도를 낮춰도 정확도가 크게 떨어지지 않도록 하기 위해.
• 전력 절감과 정확도 제약 사이의 균형을 고려한 DDBN의 체계적 근사 방법론을 개발하기 위해.
• 사용자가 지정한 정확도 수준을 유지하면서 전력 소비를 최소화할 수 있도록 네트워크 변수의 비트 길이 분포를 최적화하기 위해.

제안 방법

• 전체 정밀도 DDBN에 대해 임계도 분석을 수행하여, 네트워크 성능에 미치는 영향에 따라 은닉 뉴런을 순위 매김한다.
• 동적으로 조정된 임계값을 기반으로 가장 임계도가 낮은 뉴런에 대해 반복적이고 탐욕적인 비트 길이 감소를 적용한다.
• 각 근사 단계 이후에 점진적 재학습을 수행하여 정확도를 복구하고 향상시킨다.
• 더 이상의 감소가 정확도 제약을 위반하지 않을 때까지 근사-재학습 사이클을 반복한다.
• 세 단계의 반복적 프레임워크를 활용한다: (1) 임계도 순서 정렬, (2) 적응형 임계값을 사용한 뉴런 선택, (3) 점진적 비트 폭 감소.
• 기본값으로 Q8.8 고정소수점 표현을 사용하고, 선택된 뉴런에 대해 변수 정밀도를 낮은 비트 길이(예: 8비트, 4비트, 2비트)로 감소시킨다.

실험 결과

연구 질문

• RQ1 변수 정밀도 감소를 어떻게 체계적으로 적용하여 생성적이고 확률적인 딥 벨리프 네트워크의 전력 소비를 최소화할 수 있는가?
• RQ2 DDBN에서 정밀도 감소에 가장 저항성이 있는 뉴런은 무엇이며, 근사 이전에 어떻게 식별할 수 있는가?
• RQ3 비트 폭 감소 이후에 근사 후 재학습을 통해 정확도를 얼마나 복구하거나 향상시킬 수 있는가?
• RQ4 주어진 정확도 제약 조건을 충족하면서 전력 비용을 최소화할 수 있는 DDBN 파라미터의 최적 비트 길이 분포는 무엇인가?
• RQ5 임계도 분석과 반복적 재학습의 조합이 무작위 또는 고정 정밀도 근사 전략보다 왜 우수한가?

주요 결과

• 임계도 기반의 뉴런 선택은 랜덤 선택보다 우수한 성능을 보이며, 다층 DDBN에서 동일한 수의 뉴런을 근사할 경우 더 높은 정확도를 유지한다.
• 300-200-100 DDBN의 경우, ApproxDBN 프레임워크는 기준 대비 총 비트 길이를 90% 감소시켰을 때 90%의 정확도를 달성했다.
• 각 근사 단계 이후 재학습은 특히 큰 정밀도 감소가 적용된 경우 정확도 복구에 크게 기여했다.
• 탐욕적이고 반복적인 설계 플로우는 여섯 번의 반복 동안 총 비트 길이를 단조롭게 감소시켰으며, 정확도는 항상 90% 이상을 유지했다.
• 이 프레임워크는 MNIST 데이터셋에서 최대 90%의 전력 절감과 10% 이하의 정확도 손실을 달성하여 뛰어난 에너지 효율성 트레이드오프를 입증했다.
• 임계도 분석 또는 재학습 없이 구현된 변종에 비해 이 방법은 더 큰 비트 길이 감소와 더 나은 정확도 유지 성능을 달성했다.