[논문 리뷰] Forward and Backward Information Retention for Accurate Binary Neural Networks

Haotong Qin, Ruihao Gong외 5명|arXiv (Cornell University)|2019. 09. 24.

Advanced Neural Network Applications참고 문헌 50인용 수 25

한 줄 요약

이 논문은 전방 및 역방향 전파에서의 정보 손실을 동시에 최소화함으로써 고정밀도 이진 신경망을 훈련시키는 새로운 프레임워크인 IR-Net을 제안한다. 정보 최대화 기반의 가중치 양자화를 통해 활성화 다양성을 유지하는 Libra Parameter Binarization(Libra-PB)와 역방향 전파 중에 시그널 함수를 적응적으로 근사하는 Error Decay Estimator(EDE)를 도입하여, 1비트 가중치와 활성화를 사용할 때 CIFAR-10 및 ImageNet에서 최신 기준(SOTA) 정확도를 달성한다.

ABSTRACT

Weight and activation binarization is an effective approach to deep neural network compression and can accelerate the inference by leveraging bitwise operations. Although many binarization methods have improved the accuracy of the model by minimizing the quantization error in forward propagation, there remains a noticeable performance gap between the binarized model and the full-precision one. Our empirical study indicates that the quantization brings information loss in both forward and backward propagation, which is the bottleneck of training accurate binary neural networks. To address these issues, we propose an Information Retention Network (IR-Net) to retain the information that consists in the forward activations and backward gradients. IR-Net mainly relies on two technical contributions: (1) Libra Parameter Binarization (Libra-PB): simultaneously minimizing both quantization error and information loss of parameters by balanced and standardized weights in forward propagation; (2) Error Decay Estimator (EDE): minimizing the information loss of gradients by gradually approximating the sign function in backward propagation, jointly considering the updating ability and accurate gradients. We are the first to investigate both forward and backward processes of binary networks from the unified information perspective, which provides new insight into the mechanism of network binarization. Comprehensive experiments with various network structures on CIFAR-10 and ImageNet datasets manifest that the proposed IR-Net can consistently outperform state-of-the-art quantization methods.

연구 동기 및 목표

• 전방 및 역방향 전파에서의 정보 손실로 인해 발생하는 정밀도가 높은 모델과 이진화된 모델 간의 성능 격차를 해소하기 위해.
• 정보 이론적 통합 시각에서 이진 신경망의 전방 및 역방향 정보 흐름을 연구하기 위해.
• 전방 전파 중 모델 다양성을 유지하고, 역방향 전파 중 정확하고 안정적인 기울기를 보장하는 방법을 개발하기 위해.
• 기존의 양자화 방법보다 훨씬 높은 정확도를 확보하면서도 높은 추론 효율성을 유지하기 위해.

제안 방법

• Libra Parameter Binarization(Libra-PB)는 가중치의 균형과 표준화를 통해 양자화 오차를 최소화하고 정보 엔트로피를 극대화함으로써 활성화 다양성을 유지한다.
• Error Decay Estimator(EDE)는 역방향 전파 중에 점진적으로 시그널 함수를 근사하여 기울기 불일치를 감소시키고 최적화 안정성을 향상시킨다.
• EDE는 훈련 진행 상황에 따라 근사 방식을 동적으로 조정하여 초기에는 강력한 업데이트 능력을 확보하고, 훈련 후기에는 정확한 기울기를 보장한다.
• 이 방법은 추가적인 단정밀 연산이나 복잡한 수정 없이도 표준 훈련 파ip라인에 원활하게 통합된다.
• IR-Net은 표준 이진 신경망 프레임워크와 호환되며, 1비트 및 혼합 정밀도 설정 모두를 지원한다.
• 이 프레임워크는 최소한의 계산 오버헤드를 가지며, 특히 비트 시프트 연산을 사용하는 추론 시 매우 효율적이다.

실험 결과

연구 질문

• RQ1 전방 및 역방향 전파에서의 정보 손실이 이진 신경망의 정확도에 어떤 영향을 미치는가?
• RQ2 통합된 정보 이론적 시각이 딥 네트워크의 이진화 방법 설계를 향상시킬 수 있는가?
• RQ3 이진 네트워크에서 역방향 전파 중에 양자화 오차를 최소화하고 기울기 정보를 유지하는 방법은 무엇인가?
• RQ4 고정된 근사 방식(예: STE)에 비해 적응형 기울기 근사가 훈련 안정성과 최종 정확도를 향상시킬 수 있는가?
• RQ5 전방 및 역방향 전파에서의 정보 유지가 정밀도가 높은 모델과 이진 모델 간의 정확도 격차를 어느 정도 줄일 수 있는가?

주요 결과

• ResNet-18 기반 ImageNet에서 1W/1A 설정에서 IR-Net은 Top-1 정확도 58.1%를 기록하여 Bi-Real Net(56.4%)를 능가했으며, 2비트 가중치 방법인 TWN보다도 뛰어난 성능을 보였다.
• ImageNet의 1W/32A 설정에서 IR-Net은 66.5%의 Top-1 정확도를 기록하여, 2비트 가중치를 사용하는 BWHN(64.3%)과 SQ-TWN(63.8%)을 초월했다.
• CIFAR-10에서 ResNet-18 기반 1W/1A 설정에서 IR-Net은 91.5%의 정확도를 기록하여 이전 최신 기준 방법(86.5%)을 크게 앞서며 뚜렷한 격차를 확보했다.
• CIFAR-10의 VGG-Small에서 1W/1A 설정에서 IR-Net은 90.4%의 정확도를 기록하여 XNOR(89.8%)와 BNN(89.9%)를 0.5% 이상 초월했다.
• Raspberry Pi 3B에서 ResNet-18 기반 1비트 가중치 추론 시간은 IR-Net이 261.98ms로, 더 높은 정밀도를 가진 DSQ(551.22ms)와 NCNN(935.51ms)보다 훨씬 빠르게 작동했다.
• IR-Net의 모델 크기는 단지 4.21MB였고, 비트 시프트 연산이 유의미한 오버헤드를 유발하지 않아 실제 배포 환경에서의 효율성을 확인했다.