[논문 리뷰] Efficient Stochastic Inference of Bitwise Deep Neural Networks

Sebastian Vogel, Christoph Schorn외 2명|arXiv (Cornell University)|2016. 11. 20.

Advanced Neural Network Applications참고 문헌 14인용 수 11

한 줄 요약

이 논문은 분류 정확도를 고정밀도 모델을 초월하여 향상시키기 위해 비트단위 딥 네ural 네트워크(BNN)의 앙상블 네트워크를 활용한 확률적 추론을 제안한다. 테스트 시점에 확률적 가중치 투영을 적용하고 LFSR가 생성한 비트스트림을 통한 하드웨어 효율적인 확률적 반올림을 활용함으로써, CIFAR-10에서 5.81%의 테스트 오차와 GTSRB에서 1.63%의 테스트 오차를 달성하여 원본 고정밀도 네트워크의 성능을 뛰어넘었다.

ABSTRACT

Recently published methods enable training of bitwise neural networks which allow reduced representation of down to a single bit per weight. We present a method that exploits ensemble decisions based on multiple stochastically sampled network models to increase performance figures of bitwise neural networks in terms of classification accuracy at inference. Our experiments with the CIFAR-10 and GTSRB datasets show that the performance of such network ensembles surpasses the performance of the high-precision base model. With this technique we achieve 5.81% best classification error on CIFAR-10 test set using bitwise networks. Concerning inference on embedded systems we evaluate these bitwise networks using a hardware efficient stochastic rounding procedure. Our work contributes to efficient embedded bitwise neural networks.

연구 동기 및 목표

• 확률적 추론을 통해 고정밀도 모델을 초월하는 비트단위 신경망의 분류 정확도 향상.
• 다중계산기 없는 확률적 반올림 절차를 설계하여 BNN의 효율적인 하드웨어 구현 가능화.
• 테스트 시점의 확률적 투영이 이산화된 가중치에 대한 결정론적 추론보다 더 높은 성능을 내는지 확인.
• 임베디드 가속기에서 LFSR 기반 무작위 비트스트림 생성을 통한 확률적 반올림의 실현 가능성과 정확도 검증.
• 향후 성능 향상을 위해 확률적 반올림을 학습 과정에 통합할 잠재력 탐색.

제안 방법

• 테스트 시점 추론 중 확률적 반올림을 통한 확률적 가중치 투영을 적용하며, 공식: $ sround(w) = \lceil w \rceil $ 확률 $ p = \left| \frac{\lfloor w \rfloor - w}{\lfloor w \rfloor - \lceil w \rceil} \right| $ 으로 정의되며, 나머지 경우 $ \lfloor w \rfloor $ 로 설정.
• 다양한 확률적 투영된 가중치 버전을 샘플링하여 BNN 앙상블을 구성하고, 출력을 조합함으로써 분류 분산을 감소시킴.
• LFSR와 Daalen 모듈레이터를 활용해 선택 신호를 생성하는 멀티플렉서를 사용한 하드웨어 효율적인 확률적 반올림 엔진 설계.
• 선택 신호 확률에 대한 분석적 해를 유도: $ P(sel_j=1) = \frac{2^{2^{j-1}}}{2^{2^{j-1}} + 1} $, 이는 정확한 분수 값 근사화 가능.
• 모든 멀티플렉서에 동일한 의사난수 비트스트림 생성기(PRBS)를 사용하여 하드웨어 및 에너지 비용을 절감하면서도 정확도 유지.
• ReLU 및 부호 활성화를 사용한 128C3–128C3–MP2–256 아키텍처를 활용해 CIFAR-10 및 GTSRB 데이터셋에 적용하고, 삼치수 가중치 사용.

실험 결과

연구 질문

• RQ1 확률적 추론을 통해 확률적 투영된 BNN 앙상블 샘플링이 고정밀도 기반 모델을 초월하는 분류 정확도 향상에 기여하는가?
• RQ2 하드웨어 효율적인 확률적 반올림은 비트단위 DNN의 임베디드 배포에 실현 가능하고 충분히 정확한가?
• RQ3 여러 확률적 반올림 유닛에 동일한 PRBS 생성기를 사용해도 성능 저하 없이 작동하는가?
• RQ4 테스트 시점의 확률적 투영이 이산화된 가중치에 대한 결정론적 추론보다 성능이 뛰어나기는 한가?
• RQ5 제안된 확률적 반올림 방법은 분석적으로 유도 가능하며 하드웨어에서 효율적으로 구현 가능한가?

주요 결과

• 비트단위 네트워크를 사용해 CIFAR-10 데이터셋에서 5.81%의 테스트 오차를 기록하였으며, 이는 당시 기록된 최고 성능이며 6% 이하이기도 하다.
• GTSRB 데이터셋에서 16개의 멤버로 구성된 확률적 투영 BNN 앙상블은 최고 1.63%의 테스트 오차를 기록하여 고정밀도 기반 모델의 2.19%를 뛰어넘었다.
• GTSRB에서 11개 네트워크 앙상블의 평균 오차율은 1.79%이며, 표준편차는 0.042%로 높은 일관성을 보였다.
• 모든 확률적 반올림 유닛에 동일한 PRBS 생성기를 사용함으로써 평균 분류 정확도를 유지하면서 하드웨어 및 에너지 비용을 절감.
• 비트스트림 확률을 통한 분수 값 표현 시, 제안된 확률적 반올림 방법은 최대 근사 오차 $ \frac{1}{2^N} $ 를 달성.
• 확률적 투영을 통한 앙상블 기반 추론은 동일한 이산화된 가중치에 대한 결정론적 추론보다 일관되게 뛰어난 성능를 보이며, 분산 감소의 이점 확인.