[논문 리뷰] Bi-Real Net: Binarizing Deep Network Towards Real-Network Performance

Zechun Liu, Wenhan Luo외 4명|arXiv (Cornell University)|2018. 11. 04.

Advanced Vision and Imaging참고 문헌 48인용 수 8

한 줄 요약

이 논문은 각 1비트 컨볼루션에서 실수값 활성화를 유지하기 위해 파rameter-free 단순 경로를 도입함으로써 표현 능력을 향상시킨 1비트 컨볼루션 신경망인 Bi-Real Net을 제안한다. 이 방법은 이미지넷에서 18층 네트워크로 56.4%의 상위-1 정확도, 152층 네트워크로 64.5%의 상위-1 정확도를 달성하여 기존 이진화 모델보다 뚜렷이 뛰어난 성능을 보이며, 낮은 메모리 및 계산 비용을 유지한다.

ABSTRACT

In this paper, we study 1-bit convolutional neural networks (CNNs), of which both the weights and activations are binary. While efficient, the lacking of representational capability and the training difficulty impede 1-bit CNNs from performing as well as real-valued networks. We propose Bi-Real net with a novel training algorithm to tackle these two challenges. To enhance the representational capability, we propagate the real-valued activations generated by each 1-bit convolution via a parameter-free shortcut. To address the training difficulty, we propose a training algorithm using a tighter approximation to the derivative of the sign function, a magnitude-aware gradient for weight updating, a better initialization method, and a two-step scheme for training a deep network. Experiments on ImageNet show that an 18-layer Bi-Real net with the proposed training algorithm achieves 56.4% top-1 classification accuracy, which is 10% higher than the state-of-the-arts (e.g., XNOR-Net) with greater memory saving and lower computational cost. Bi-Real net is also the first to scale up 1-bit CNNs to an ultra-deep network with 152 layers, and achieves 64.5% top-1 accuracy on ImageNet. A 50-layer Bi-Real net shows comparable performance to a real-valued network on the depth estimation task with only a 0.3% accuracy gap.

연구 동기 및 목표

• 이미지넷과 같은 대규모 데이터셋에서 1비트 CNN과 전정밀도 네트워크 사이의 성능 격차를 해소한다.
• 이진화 과정에서 유용한 정보를 상실하는 표준 1비트 CNN의 제한된 표현 능력을 극복한다.
• 자주 낮은 수렴성과 정확도 저하를 초래하는 1비트 네트워크의 훈련 난이도를 감소시킨다.
• 초심층 아키텍처(예: 152층)로의 1비트 네트워크 확장이 가능하게 하되, 높은 정확도를 유지한다.
• FPGA 평가를 통해 1비트 네트워크의 모바일 및 임베디드 장치에 대한 실용적 구현 가능성을 입증한다.

제안 방법

• 각 1비트 컨볼루션 레이어에서 실수값 활성화를 전달하는 파rameter-free 단순 경로를 도입하여 고정밀도 특징 정보를 유지한다.
• 1층당 블록 아키텍처를 설계하여, 블록의 실수값 출력을 다음 블록의 실수값 특징에 더함으로써 표현 능력을 향상시킨다.
• 역전파 중 부호 함수의 도함수에 대한 더 나은 근사치를 제안하여 기울기 흐름을 개선한다.
• 크기 인식 이진화를 도입하여 양자화 과정에서 원래 가중치의 크기를 유지한다.
• 두 단계 훈련 방식을 구현: 먼저 전정밀도 네트워크를 훈련하고, 그 결과를 바탕으로 이진화된 버전을 미세조정한다.
• 깊은 1비트 네트워크에서 훈련 안정성과 수렴성 향상을 위해 새로운 초기화 방법을 제안한다.

실험 결과

연구 질문

• RQ1 1비트 CNN은 이미지넷과 같은 대규모 벤치마크에서 전정밀도 네트워크와 유사한 성능을 달성할 수 있는가?
• RQ2 추가 파rameter를 도입하지 않고 1비트 CNN의 표현 능력을 어떻게 향상시킬 수 있는가?
• RQ3 1비트 네트워크의 안정성과 성능 향상에 가장 효과적인 훈련 기법은 무엇인가?
• RQ4 1비트 네트워크는 초심층 아키텍처(예: 152층)로 확장 가능할 수 있으며, 높은 정확도를 유지할 수 있는가?
• RQ5 1비트 네트워크는 모바일 및 임베디드 플랫폼에서 얼마나 효율적으로 구현 가능한가?

주요 결과

• 18층 Bi-Real Net은 이미지넷에서 56.4%의 상위-1 정확도를 달성하여 XNOR-Net과 같은 기존 최신 기술 대비 10% 향상된 성능을 보였다.
• 152층 Bi-Real Net은 이미지넷에서 64.5%의 상위-1 정확도를 달성하여 1비트 CNN이 그러한 깊이로 성공적으로 확장된 최초의 사례이다.
• 50층 Bi-Real Net은 KITTI 깊이 추정 벤치마크에서 84.9%의 정확도를 기록하여, 전정밀도 ResNet-50와 비교해 0.3% 이내의 성능 격차를 보였다.
• FPGA에서 18층 Bi-Real Net은 전정밀도 대비 7.38배의 속도 향상을 달성했으며, LUT와 FF 사용량도 감소시켰다.
• 동일한 FPGA 플랫폼에서 이진 컨볼루션 레이어만으로도 32비트 컨볼루션 대비 15.8배의 속도 향상을 달성했다.
• 더 나은 기울기 근사치와 크기 인식 이진화를 포함한 제안된 훈련 알고리즘은 깊은 1비트 네트워크에서 안정적인 훈련과 높은 정확도를 가능하게 했다.