[논문 리뷰] Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?

Shilin Zhu, Xin Dong외 1명|arXiv (Cornell University)|2018. 06. 20.

Advanced Neural Network Applications참고 문헌 56인용 수 15

한 줄 요약

이 논문은 이진 신경망(BNNs)의 안정성과 비내성으로 인한 정확도 저하 문제를 극복하기 위해 이진 신경망(BNNs)과 앙상블 기법을 융합한 새로운 아키텍처인 이진 앙성 신경망(BENN)을 제안한다. 부스팅 또는 배깅을 통해 4~6개의 BNN을 앙성화함으로써 BENN은 동일한 아키텍처에서 전체 정밀도 네트워크를 능가하는 최신 기술 수준의 정확도를 달성하면서도 비트단위 연산을 통해 낮은 지연 시간과 하드웨어 효율성을 유지한다.

ABSTRACT

Binary neural networks (BNN) have been studied extensively since they run dramatically faster at lower memory and power consumption than floating-point networks, thanks to the efficiency of bit operations. However, contemporary BNNs whose weights and activations are both single bits suffer from severe accuracy degradation. To understand why, we investigate the representation ability, speed and bias/variance of BNNs through extensive experiments. We conclude that the error of BNNs is predominantly caused by the intrinsic instability (training time) and non-robustness (train & test time). Inspired by this investigation, we propose the Binary Ensemble Neural Network (BENN) which leverages ensemble methods to improve the performance of BNNs with limited efficiency cost. While ensemble techniques have been broadly believed to be only marginally helpful for strong classifiers such as deep neural networks, our analyses and experiments show that they are naturally a perfect fit to boost BNNs. We find that our BENN, which is faster and much more robust than state-of-the-art binary networks, can even surpass the accuracy of the full-precision floating number network with the same architecture.

연구 동기 및 목표

• 학습 및 추론 과정에서 내재된 불안정성과 비내성으로 인해 발생하는 이진 신경망(BNNs)의 심각한 정확도 저하 문제를 해결하기 위해.
• 낮은 비트 폭에도 불구하고 BNN의 표현력과 일반화 능력에 한계가 있음에도 불구하고 앙성 기법이 효과적으로 이를 완화할 수 있는지 조사하기 위해.
• 하나의 고정밀도 네트워크보다 다수의 경량 BNN을 선택하는 방식으로 비트당 성능를 극대화하는 하드웨어 효율적이고 확장 가능한 아키텍처를 제안하기 위해.
• 앙성 기반 BNN이 정확도 면에서 전체 정밀도 모델을 능가하면서도 이진 계산의 속도와 에너지 효율성을 유지할 수 있는지 증명하기 위해.
• 효율적인 엣지 배포를 위해 '네트워크당 비트 수 증가'에서 '비트당 네트워크 수 증가'로 설계 트레이드오프를 재정의하기 위해.

제안 방법

• 동일한 아키텍처를 공유하는 다수의 BNN을 훈련하고 배깅 또는 부스팅을 통해 예측을 앙성화하는 이진 앙성 신경망(BENN)을 제안한다.
• 스토캐스틱 이진화와 반복적 훈련을 활용해 다양성을 갖춘 기본 BNN을 생성함으로써 분산을 감소시키고 내성력을 향상시킨다.
• 선형 시간 복잡도를 갖는 앙성 전략을 적용하여 K개의 앙성에 대해 O(K)로 복잡도를 감소시켜 효율적인 하드웨어 병렬 처리를 가능하게 한다.
• 예측을 평균 내거나 가중 투표 방식으로 조합함으로써 일반화 능력을 크게 향상시키고 예측 분산을 감소시킨다.
• 공유된 아키텍처와 데이터 증강을 최적화하여 각 네트워크의 크기를 늘리지 않고도 기본 BNN 간의 다양성을 향상시킨다.
• AlexNet과 ResNet-18을 사용하여 BENN을 CIFAR-10과 ImageNet에서 전체 정밀도 및 이전의 BNN들과 비교하여 검증한다.

실험 결과

연구 질문

• RQ1 앙성 기법이 본질적으로 불안정하고 비내성인 BNN의 편향과 분산을 효과적으로 줄일 수 있는가?
• RQ2 단일 네트워크의 비트 정밀도를 높이는 것보다 다수의 BNN을 조합하는 것이 더 높은 정확도를 얻을 수 있는가?
• RQ3 BENN이 1비트 가중치와 활성화를 유지하면서도 전체 정밀도 DNN을 초월할 수 있는가?
• RQ4 BNN의 앙성 수, 모델 크기, 추론 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 BENN의 성능는 다양한 데이터셋과 네트워크 아키텍처에서 어떻게 스케일링되는가?

주요 결과

• AlexNet 기반 BENN는 6개의 부스팅된 BNN을 사용해 ImageNet에서 54.3%의 상위-1 정확도를 달성했으며, 전체 정밀도 DNN의 56.6%를 초월했다.
• ResNet-18 기반 BENN는 6개의 부스팅된 BNN을 사용해 61.0%의 상위-1 정확도를 기록했으며, 전체 정밀도 모델의 69.3%를 초월했다.
• 단지 4~5개의 BNN만으로도 BENN는 ImageNet에서 XNOR-Net(44.0%)과 DoReFa-Net(43.6%)와 같은 최신 기술 수준의 BNN들을 능가했다.
• BENN의 계산 복잡도는 K² 기반 접근 방식(예: K비트 양자화 또는 K기반 방법)보다 크게 낮은 O(K)로 감소했다.
• BENN는 내재된 비트단위 연산 덕분에 FPGA에서 O(1) 병렬 처리가 가능하여 다중 비트 양자화 네트워크보다 하드웨어 효율성이 뛰어나다.
• 앙성 전략은 예측 분산을 감소시키고 노이즈에 대한 내성력을 향상시켜 BENN이 훈련 및 테스트 단계에서 모두 안정성을 확보하고 있음을 확인했다.