[논문 리뷰] Heterogeneous Bitwidth Binarization in Convolutional Neural Networks

Josh Fromm, Shwetak Patel외 1명|arXiv (Cornell University)|2018. 05. 25.

Neural Networks and Applications참고 문헌 13인용 수 15

한 줄 요약

이 논문은 각각의 파라미터가 별개의 비트폭(예: 1-, 2-, 또는 3비트)를 가질 수 있는 이종 비트폭 신경망(HBNNs)을 제안한다. 이를 통해 평균 비트폭을 분수 수준으로 조절할 수 있다. 학습 중 '중간에서 외부로'(middle-out)의 비트폭 선택 전략을 사용함으로써, HBNNs는 동종 2비트 네트워크와 유사한 정확도를 확보하면서도 평균 비트폭을 단 1.4비트로 줄여 FPGA 및 ASIC 하드웨어에서 에너지 효율성과 면적 절감에 상당한 기여를 한다.

ABSTRACT

Recent work has shown that fast, compact low-bitwidth neural networks can be surprisingly accurate. These networks use homogeneous binarization: all parameters in each layer or (more commonly) the whole model have the same low bitwidth (e.g., 2 bits). However, modern hardware allows efficient designs where each arithmetic instruction can have a custom bitwidth, motivating heterogeneous binarization, where every parameter in the network may have a different bitwidth. In this paper, we show that it is feasible and useful to select bitwidths at the parameter granularity during training. For instance a heterogeneously quantized version of modern networks such as AlexNet and MobileNet, with the right mix of 1-, 2- and 3-bit parameters that average to just 1.4 bits can equal the accuracy of homogeneous 2-bit versions of these networks. Further, we provide analyses to show that the heterogeneously binarized systems yield FPGA- and ASIC-based implementations that are correspondingly more efficient in both circuit area and energy efficiency than their homogeneous counterparts.

연구 동기 및 목표

• 모든 파라미터가 동일한 낮은 비트폭을 사용하는 동종 이진화의 비효율성을 해결하기 위해, 현대 하드웨어가 파라미터당 가변 비트폭을 지원하므로 이를 활용하고자 한다.
• 학습 중 개별 파라미터에 다른 비트폭을 할당하는 것이 이진화된 CNN의 정확도-압축-전력 트레이드오���에 개선을 가져올 수 있는지 탐색하고자 한다.
• 목표 평균 비트폭을 달성하면서도 높은 모델 정확도를 유지할 수 있도록 각 파라미터에 최적의 비트폭을 선택하는 실용적인 학습 방법을 개발하고자 한다.
• 이종 비트폭 설계가 동종 설계 대비 FPGA 및 ASIC 구현에서 더 효율적임을 입증하고자 한다.

제안 방법

• 각 네트워크 파라미터가 독립적인 비트폭을 가질 수 있도록 허용하는 이종 비트폭 신경망(HBNNs)을 도입함으로써, 분수 평균 비트폭을 가능하게 한다.
• 최신 동종 이진화 학습 프레임워크를 변형하여, 백프로파게이션 중에 비트폭을 할당하는 탐욕적('middle-out') 비트폭 선택 알고리즘을 적용한다.
• 학습 중 기울기 흐름을 유지하기 위해 직선 추정기(straight-through estimator)를 사용하며, 부동소수점 가중치를 유지하면서도 파라미터를 할당된 비트폭으로 이진화한다.
• 비트폭 분포에 대한 초모수 조정을 통해 평균 비트폭을 최소화하면서 정확도를 유지하는 최적의 구성 조합을 찾는다.
• 최근의 FPGA 및 ASIC 구현을 기반으로 하드웨어 효율성을 평가하며, 총 계산 단위 수에 따라 총 면적과 전력 소비를 모델링한다.

실험 결과

연구 질문

• RQ1 CNN의 개별 파라미터에 가변 비트폭을 할당하는 것이 동종 이진화 대비 정확도-압축-전력 트레이드오프를 향상시킬 수 있는가?
• RQ2 표준 딥러닝 프레임워크와 최적화 기법을 사용해 이종 비트폭을 가진 CNN을 학습하는 것이 가능한가?
• RQ3 예를 들어 1.4비트와 같은 분수 평균 비트폭이 동종 2비트 모델 수준의 정확도를 달성하면서 하드웨어 자원 소비를 줄일 수 있는가?
• RQ4 FPGA 및 ASIC 플랫폼에서 이종 비트폭 설계는 동종 설계 대비 면적 및 전력 효율성 측면에서 어떻게 비교되는가?

주요 결과

• HBNNs는 MobileNet을 사용해 ImageNet에서 평균 비트폭 1.4로도 89.4%의 top-1 정확도를 달성하며, 이는 동종 2비트 모델과 동일한 정확도를 확보한다.
• VGG-8에서, 평균 1.4비트를 사용하는 이종 이진화는 ZC706 FPGA에서 28% 적은 LUT 점유율을 기록하며 89.4%의 정확도를 달성한다.
• ASIC 구현 결과, HBNNs는 2비트 동종 설계 대비 칩 면적을 50% 감소시켜 297 mm²에서 145.5 mm²로 줄였고, 전력 소비도 51% 감소시켜 18.62 mW에서 9.1 mW로 감소시켰으며, MobileNet에서 64.7%의 정확도를 유지한다.
• 'middle-out' 비트폭 선택 전략은 여러 모델과 데이터셋에서 정확도를 유지하면서 비트폭을 최소화하는 데 있어 다른 탐욕적 방법보다 뛰어난 성능을 보였다.
• 이종 비트폭은 정확도-자원 점유율-전력 트레이드오프를 세밀하게 조정할 수 있게 하여, 설계자가 목표 하드웨어 제약 조건에 따라 처리량을 극대화하거나 면적을 최소화할 수 있도록 한다.