[논문 리뷰] RBCN: Rectified Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding외 6명|arXiv (Cornell University)|2019. 08. 21.

Advanced Neural Network Applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 1비트 딥 컨볼루션 신경망(DCNNs)의 성능을 향상시키기 위해, 전체 정밀도 복제본의 감독 아래 생성적 적대적 네트워크(GAN)를 활용하여 이진 네트워크의 훈련을 이끄는 새로운 프레임워크인 Rectified Binary Convolutional Networks(RBCN)를 제안한다. 전체 정밀도 커널과 특징 맵을 종합적으로 최적화함으로써 RBCN는 ImageNet 및 객체 추적 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, XNOR-Net과 Bi-Real Net과 같은 기존 방법들보다 최상위 1위 정확도에서 최대 7.9% 향상되고 추적 정확도에서 7% 향상된다.

ABSTRACT

Binarized convolutional neural networks (BCNNs) are widely used to improve memory and computation efficiency of deep convolutional neural networks (DCNNs) for mobile and AI chips based applications. However, current BCNNs are not able to fully explore their corresponding full-precision models, causing a significant performance gap between them. In this paper, we propose rectified binary convolutional networks (RBCNs), towards optimized BCNNs, by combining full-precision kernels and feature maps to rectify the binarization process in a unified framework. In particular, we use a GAN to train the 1-bit binary network with the guidance of its corresponding full-precision model, which significantly improves the performance of BCNNs. The rectified convolutional layers are generic and flexible, and can be easily incorporated into existing DCNNs such as WideResNets and ResNets. Extensive experiments demonstrate the superior performance of the proposed RBCNs over state-of-the-art BCNNs. In particular, our method shows strong generalization on the object tracking task.

연구 동기 및 목표

• 기존 방법에서 여전히 뚜렷한 성능 격차를 보이는 1비트 이진 CNN과 전체 정밀도 복제본 간의 성능 격차를 해소하기 위해.
• 단지 가중치나 활성화 값 외에도 전체 정밀도 모델의 다중 측면 정보를 활용하여 1비트 DCNN의 표현 능력을 향상시키기 위해.
• 전체 정밀도 커널과 특징 맵을 이진화 과정에 통합하는 일반화 가능하고 종단 간(end-to-end) 훈련 프레임워크를 개발하기 위해.
• 최적화된 이진 네트워크 훈련을 통해 이동 및 임베디드 AI 응용 분야에 적합한 고성능, 저복잡도 모델을 구현하기 위해.

제안 방법

• 1비트 이진 네트워크가 생성기(generator)로 작동하고, 전체 정밀도 모델이 진짜 특징 맵을 제공하는 GAN 기반 훈련 프레임워크를 제안한다.
• 판별기(discriminators)는 전체 정밀도 모델에서 유래한 진짜 특징 맵과 이진 생성기에서 유래한 가짜 특징 맵을 구분하도록 훈련되어, 생성기가 더 현실적인 표현을 생성하도록 유도한다.
• 생성기 네트워크는 분류 손실를 최소화하는 것 외에도 판별기를 속이도록 최적화되어, 더 나은 특징 분포 일치를 가능하게 한다.
• 이중화된 특징 맵을 정밀하게 보정하기 위해 학습 가능한 스케일링 행렬 C와 C*를 도입하여 전체 정밀도 특징을 보다灵活하고 정확하게 근사화할 수 있도록 한다.
• 훈련 중에는 전체 정밀도 커널을 사용하여 이진화 과정을 안내하지만, 추론 시에는 전체 정밀도 커널을 기각하고 이진화된 가중치와 스케일링 행렬만 유지한다.
• 이 프레임워크는 아키텍처 변경 없이도 ResNet 및 WideResNet과 같은 다양한 아키텍처에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 전체 정밀도 특징 맵과 커널을 활용하여 GAN 기반 디스틸레이션 프레임워크가 1비트 DCNN의 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 전체 정밀도 표현과 이진 표현을 동시에 최적화하는 것이 표준 지식 디스틸레이션 또는 가중치 초기화 방식보다 더 우수한 일반화 성능을 낼 수 있는가?
• RQ3 제안된 방법이 최소한의 계산 오버헤드로 이미지 분류 및 객체 추적 작업 모두에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 훈련 과정에 전체 정밀도 특징 맵을 포함시키는 것이 1비트 네트워크의 수렴성과 강건성에 어떤 영향을 미치는가?

주요 결과

• RBCN는 ResNet18 기반으로 ImageNet에서 59.5%의 최상위 1위 정확도를 달성하여 XNOR-Net(51.2%)보다 8.3%p 높고, Bi-Real Net(56.4%)보다 3.1%p 높다.
• ImageNet 검증 세트에서 RBCN는 PCNN보다 2.2%p 향상되었고, ABC-Net보다 17.1%p 향상되어 다양한 이진 네트워크 설계에 걸쳐 강력한 일반화 능력을 보였다.
• 객체 추적에서 RB-SF(RBCN 기반 SiamFC)는 GOT-10K에서 32.7%의 AO를 기록하여 XNOR보다 7.6%p 향상되었고, 전체 정밀도 SiamFC에 거의 근접하는 성능을 달성했다.
• 전체 정밀도 ResNet18 대비 메모리 사용량은 11.10배 감소하고 추론 속도는 10.86배 향상되었으며, 높은 정확도를 유지했다.
• 훈련 곡선 분석 결과 RBCN는 XNOR보다 더 빠르게 수렴함을 확인하여 최적화 안정성과 효율성이 향상됨을 시사했다.
• 학습 가능한 스케일링 행렬 C와 C*에서 유도되는 계산 비용이 극히 낮아, 실용적인 구현이 가능함을 입증했다.