[논문 리뷰] Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution

Hyungjun Kim, Jihoon Park외 2명|arXiv (Cornell University)|2020. 12. 02.

Advanced Neural Network Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 기존의 균형 잡힌 분포를 선호하는 가정과는 반대로, 비균형 이진 활성화 분포가 이진 신경망(BNN)의 정확도를 향상시킬 수 있음을 제안한다. 이중 활성화의 부호 함수의 임계값을 이동시킴으로써, 추가적인 계산 비용 없이 XNOR-Net과 Bi-Real-Net에서 뚜렷한 정확도 향상을 달성하였으며, 이는 활성화 분포의 비대칭성이 기울기 불일치 보정을 넘어서 표현 능력을 향상시킨다는 것을 보여준다.

ABSTRACT

Binarization of neural network models is considered as one of the promising methods to deploy deep neural network models on resource-constrained environments such as mobile devices. However, Binary Neural Networks (BNNs) tend to suffer from severe accuracy degradation compared to the full-precision counterpart model. Several techniques were proposed to improve the accuracy of BNNs. One of the approaches is to balance the distribution of binary activations so that the amount of information in the binary activations becomes maximum. Based on extensive analysis, in stark contrast to previous work, we argue that unbalanced activation distribution can actually improve the accuracy of BNNs. We also show that adjusting the threshold values of binary activation functions results in the unbalanced distribution of the binary activation, which increases the accuracy of BNN models. Experimental results show that the accuracy of previous BNN models (e.g. XNOR-Net and Bi-Real-Net) can be improved by simply shifting the threshold values of binary activation functions without requiring any other modification.

연구 동기 및 목표

• 활성화 분포의 대칭성이 BNN 정확도에 미치는 영향을 조사하여, 균형 잡힌 분포가 최적이라는 가정을 도전한다.
• STE 및 가중치 스케일링과 같은 기존 기법에도 불구하고 지속적인 정확도 저하 문제를 해결한다.
• ReLU 기반 네트워크에서 흔한 비균형 활성화 분포가 BNN 성능 향상에 기여할 수 있는지 탐색한다.
• 이진 활성화 함수의 임계값 이동이 간단하면서도 효과적인 정확도 향상 방법임을 평가한다.
• 활성화 분포의 비대칭성이 BNN에서 어떤 역할을 하는지 분석함으로써, 추가 활성화 함수(예: PReLU)의 기여를 명확히 한다.

제안 방법

• 이진 활성화에서 부호 함수의 임계값을 0에서 학습 가능한 또는 고정된 오프셋으로 이동시켜 비균형 이진 출력을 생성한다.
• 임계값 이동된 부호 함수를 통해 기울기를 역전파하기 위해 수정된 직렬통과 추정기(STE)를 사용한다.
• ResNet-20 및 기타 아키텍처에서 실험적 분석을 통해 임계값 이동 유무에 따른 정확도를 비교한다.
• 비균형 분포를 시뮬레이션하고 임계값 이동 효과를 검증하기 위해 가변 음수 기울기를 가진 LeakyReLU를 도입한다.
• 추가 활성화 함수(예: PReLU)가 있는 모델과 없는 모델을 비교하여 분포 비대칭성의 기여도를 분리한다.
• 전활성화 분포를 분석하여 임계값 이동과 LeakyReLU가 평균과 중앙값에 미치는 영향을 비시각화한다.

실험 결과

연구 질문

• RQ1 이진 활성화 함수의 임계값 이동이 BNN 정확도를 향상시키는가?
• RQ2 임계값 이동으로 인한 성능 향상은 결과적으로 발생하는 비균형 활성화 분포 때문인가?
• RQ3 PReLU와 같은 추가 활성화 함수가 BNN 정확도를 향상시키는 이유는 무엇인가? 이는 분포의 비대칭성 때문인가?
• RQ4 임계값 이동은 역전파를 통해 학습 가능한가, 아니면 하이퍼파rameter로 취급하는 것이 더 낫나?
• RQ5 BNN에서 활성화 분포의 비대칭성과 모델 정확도 사이에 어떤 상관관계가 있는가?

주요 결과

• 이진 활성화 함수의 임계값을 0에서 비영인 값으로 이동시키는 것으로, 아키텍처 변경 없이도 BNN의 테스트 정확도가 뚜렷이 향상된다.
• XNOR-Net과 Bi-Real-Net을 포함한 여러 모델에서 일관된 정확도 향상이 관찰되었으며, CIFAR-10에서 최대 2.5%의 성능 향상이 이루어졌다.
• 성능 향상은 비균형 활성화 분포의 생성 덕분이며, 이는 대칭 분포보다 정보를 더 잘 유지하기 때문이다.
• PReLU 또는 LeakyReLU 레이어가 추가된 모델들은 이미 비균형 분포를 보이며, 이는 일부 정확도 향상의 원인로 설명되며, 추가적인 임계값 이동은 과도한 왜곡으로 인해 성능을 떨어뜨린다.
• 임계값 이동은 역전파를 통한 학습이 불가능하며, 고정 또는 수동으로 튜닝된 이동 값이 엔드 투 엔드 학습된 임계값보다 더 좋은 성능을 낸다.
• 비균형 분포 효과는 정밀도가 높은 설정에서 ReLU6와 hardtanh 함수를 비교함으로써 검증되었으며, 이질화 없이도 비대칭성이 정확도 향상에 기여하는 것으로 나타났다.