[논문 리뷰] IR-Net: Forward and Backward Information Retention for Highly Accurate Binary Neural Networks

Haotong Qin, Ruihao Gong외 4명|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 29인용 수 8

한 줄 요약

IR-Net는 전방 및 역방향 전파에서의 정보 손실을 동시에 최소화함으로써 이진 신경망의 정확도를 향상시키는 새로운 프레임워크를 제안한다. Libra Parameter Binarization를 도입하여 균형 잡힌 가중치 양자화를 구현하고, 역방향 전파 중에 부드럽게 부호 함수를 근사하는 데 사용되는 Error Decay Estimator를 제안함으로써 CIFAR-10 및 ImageNet에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Weight and activation binarization is an effective approach to deep neural network compression and can accelerate the inference by leveraging bitwise operations. Although many binarization methods have improved the accuracy of the model by minimizing the quantization error in forward propagation, there remains a noticeable performance gap between the binarized model and the full-precision one. Our empirical study indicates that the quantization brings information loss in both forward and backward propagation, which is the bottleneck of training accurate binary neural networks. To address these issues, we propose an Information Retention Network (IR-Net) to retain the information that consists in the forward activations and backward gradients. IR-Net mainly relies on two technical contributions: (1) Libra Parameter Binarization (Libra-PB): simultaneously minimizing both quantization error and information loss of parameters by balanced and standardized weights in forward propagation; (2) Error Decay Estimator (EDE): minimizing the information loss of gradients by gradually approximating the sign function in backward propagation, jointly considering the updating ability and accurate gradients. We are the first to investigate both forward and backward processes of binary networks from the unified information perspective, which provides new insight into the mechanism of network binarization. Comprehensive experiments with various network structures on CIFAR-10 and ImageNet datasets manifest that the proposed IR-Net can consistently outperform state-of-the-art quantization methods.

연구 동기 및 목표

• 이진화된 신경망과 정밀한 신경망 간의 지속적인 정확도 격차를 해소하기 위해 전방 및 역방향 전파에서의 정보 손실을 분석함으로써 문제를 해결하고자 한다.
• 이진 신경망에서 추론 및 학습 과정에서 발생하는 정보 손실 원인으로서의 양자화의 이중적 역할을 조사하고자 한다.
• 비선형성과 정보 손실을 최소화하는 통합된 정보 유지 프레임워크를 개발하여 중요한 기울기 및 활성화 신호를 유지함으로써 모델 정확도를 향상시키고자 한다.
• 전방 및 역방향 과정을 상호 연결된 정보 흐름으로 간주함으로써 네트워크 이진화의 메커니즘에 대한 새로운 통찰을 제공하고자 한다.

제안 방법

• 전방 전파 중 정보 손실과 양자화 오차를 최소화하기 위해 네트워크 가중치의 척도를 표준화하고 균형을 맞추는 Libra Parameter Binarization(Libra-PB)를 도입한다.
• 역방향 전파 중 기울기의 양자화 오차를 점차적으로 감소시키는, 부호 함수의 미분 가능 근사인 Error Decay Estimator(EDE)를 제안한다.
• EDE는 학습 에포크 동안 부호 함수의 근사를 동적으로 조정하여 기울기 정확도와 최적화 안정성의 균형을 이룬다.
• 이 방법은 양자화를 손실 없는 변환으로 간주하고, 파라미터와 기울기 정보의 동시 유지 최적화를 수행한다.
• Libra-PB와 EDE를 통합한 통합 학습 목표를 활용하여 전방 및 역방향 전파 간의 신호 정밀도를 유지한다.
• 다양한 네트워크 아키텍처에 이 프레임워크를 적용하여 CIFAR-10 및 ImageNet 벤치마크에서 일관된 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 전방 및 역방향 전파에서 유도되는 양자화에 의한 정보 손실은 이진 신경망의 정확도에 어떤 영향을 미치는가?
• RQ2 통합된 정보 유지 전략은 이진화된 네트워크 학습 중 파라미터와 기울기의 정밀도를 향상시킬 수 있는가?
• RQ3 균형 잡힌 가중치 이진화와 적응형 기울기 근사가 함께 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 역방향 전파 중에 부호 함수를 점진적으로 근사하는 것이 기존의 이진화 방법에 비해 더 나은 최적화와 높은 정확도를 이끌 수 있는가?

주요 결과

• IR-Net는 CIFAR-10 및 ImageNet 데이터셋에서 최신 기준(SOTA) 양자화 방법을 일관되게 능가한다.
• 제안된 Libra-PB 방법은 파라미터 양자화 오차를 감소시키고 가중치 분포의 균형을 향상시켜 더 안정적인 학습을 가능하게 한다.
• Error Decay Estimator는 부호 함수의 점진적 정밀화를 통해 기울기 정보 손실을 효과적으로 최소화한다.
• 실증 결과에 따르면, 전방 및 역방향 정보 손실을 동시에 대응하는 것이 단일 방향에 집중한 방법에 비해 상당한 정확도 향상을 이룬다.
• 포괄적인 추상화 분석을 통해 Libra-PB와 EDE가 상호 보완적으로 전체 성능 향상에 기여하는 것으로 확인되었다.
• 이 프레임워크는 이진화된 ResNet 및 VGG 아키텍처에서 최신 기준(SOTA) 정확도를 달성하여 다양한 네트워크 구조에 대한 일반화 능력을 입증한다.