[논문 리뷰] BoolNet: Minimizing The Energy Consumption of Binary Neural Networks

Nianhui Guo, Joseph Bethge외 5명|arXiv (Cornell University)|2021. 06. 13.

Advanced Neural Network Applications참고 문헌 43인용 수 12

한 줄 요약

BoolNet는 이중 신경망 아키텍처의 새로운 형태로, 32비트 구성 요소—예를 들어 32비트 배치 정규화, 신뢰성 있는 단순 경로, 32비트 특징 맵—를 모두 제거하고 이중 연산과 부울 논리로 대체함으로써 32비트 구성 요소를 대부분 제거한다. 이로 인해 Bi-RealNet 대비 에너지 소비가 4.6배 감소했으며, ImageNet에서 상위-1 정확도는 1.2% 높아졌다.

ABSTRACT

Recent works on Binary Neural Networks (BNNs) have made promising progress in narrowing the accuracy gap of BNNs to their 32-bit counterparts. However, the accuracy gains are often based on specialized model designs using additional 32-bit components. Furthermore, almost all previous BNNs use 32-bit for feature maps and the shortcuts enclosing the corresponding binary convolution blocks, which helps to effectively maintain the accuracy, but is not friendly to hardware accelerators with limited memory, energy, and computing resources. Thus, we raise the following question: How can accuracy and energy consumption be balanced in a BNN network design? We extensively study this fundamental problem in this work and propose a novel BNN architecture without most commonly used 32-bit components: extit{BoolNet}. Experimental results on ImageNet demonstrate that BoolNet can achieve 4.6x energy reduction coupled with 1.2\% higher accuracy than the commonly used BNN architecture Bi-RealNet. Code and trained models are available at: https://github.com/hpi-xnor/BoolNet.

연구 동기 및 목표

• 이중 신경망(BNNs)에서 정확도와 하드웨어 효율성 간의 균형을 개선하기 위해, 특히 에너지 소비가 높은 32비트 구성 요소로 인한 문제를 해결하기 위함.
• 배치 정규화, 스케일링, 32비트 단순 경로와 같은 32비트 레이어가 BNN의 에너지 소비와 하드웨어 효율성에 미치는 영향을 조사하기 위함.
• 정확도를 희생시키지 않으면서도 최소한의 32비트 구성 요소를 가진 BNN 아키텍처를 설계하기 위함.
• 특징 맵과 단순 경로를 이진화할 때 발생하는 표현 능력 손실을 완화하기 위한 다중 슬라이스 전략을 개발하기 위함.
• 이론적 FLOPs만으로는 실제 세계의 효율성을 충분히 반영할 수 없음을 입증하고, 메모리 액세스와 하드웨어 에너지 비용이 핵심 요소임을 밝히기 위함.

제안 방법

• 단순 경로의 기원을 배치 정규화에서 Sign 함수로 이동시켜 32비트 특징 맵과 신뢰성 있는 단순 경로를 모두 1비트 이진 특징 맵으로 대체한다.
• 32비트 덧셈 연산에서 발생하는 MAdds를 제거하기 위해 특징 맵 집계에 부울 논리 연산(XNOR 및 비트 카운팅)을 사용한다.
• 배치 정규화 레이어를 Sign 함수로 손실 없는 변환하여 추론 시 BN의 계산 및 메모리 오버헤드를 제거한다.
• PReLU, 평균 풀링, 이진 다운샘플링 컨볼루션과 같은 32비트 연산을 이진 또는 논리 기반 대체 연산으로 제거하거나 대체한다.
• 특징 맵을 여러 개의 이진 슬라이스로 분할하여 더 풍부한 표현을 가능하게 하면서도 이진 연산을 유지하는 다중 슬라이스 전략을 도입한다.
• 하드웨어 가속기 시뮬레이션을 활용하여 에너지 소비를 평가하며, DRAM 액세스와 구성 요소 수준의 에너지 비용을 중점적으로 고려한다.

실험 결과

연구 질문

• RQ1 배치 정규화, 스케일링, 32비트 단순 경로와 같은 32비트 구성 요소가 BNN의 에너지 소비와 하드웨어 효율성에 어떤 영향을 미치는가?
• RQ2 최소한의 32비트 구성 요소와 완전히 이진 정보 흐름을 가진 BNN이 높은 정확도를 달성할 수 있는가?
• RQ3 32비트 연산을 이진 또는 부울 논리 연산으로 대체할 경우 에너지 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 다중 슬라이스 전략은 특징 맵과 단순 경로를 이진화할 때 발생하는 정확도 저하를 어떻게 완화하는가?
• RQ5 이론적 FLOP 수치가 실제 에너지 소비와 얼마나 관련이 있는가? 특히 메모리 액세스가 에너지 소비를 지배할 경우 어떤가?

주요 결과

• BoolNet는 Bi-RealNet 대비 에너지 소비를 4.6배 감소시켜 ImageNet 추론 시 0.84 mJ의 에너지 소비를 달성했다.
• 1비트 특징 맵만을 사용함에도 불구하고 BoolNet는 ImageNet에서 상위-1 정확도 57.6%를 달성했으며, Bi-RealNet의 56.4%보다 1.2% 높았다.
• 32비트 PReLU와 Int8 배치 정규화의 에너지 소비는 각각 이진 컨볼루션의 26%와 50%에 불과하여, 이들의 비효율성을 입증한다.
• BoolNet의 마지막 스테이지에 팽창(dilation)을 도입함으로써 정확도는 2% 향상(59.6%)되었고, Bi-RealNet 대비 에너지 소비는 3.3배 감소했다.
• k=4인 다중 슬라이스 전략은 완전히 이진 기반 기준 대비 정확도 저하를 6.2% 감소시켜, 최소한의 32비트 구성 요소로도 높은 성능을 유지했다.
• 하드웨어 시뮬레이션 결과, DRAM 액세스가 에너지 소비를 지배하며, BoolNet의 최소한의 메모리 프로필로 인해 DRAM 액세스와 에너지 소비가 크게 감소했다.