[논문 리뷰] Structured Binary Neural Networks for Accurate Image Classification and Semantic Segmentation

Bohan Zhuang, Chunhua Shen외 3명|arXiv (Cornell University)|2018. 11. 22.

Advanced Neural Network Applications참고 문헌 53인용 수 16

한 줄 요약

이 논문은 이미지 분류 및 세분화 작업에서 정확도와 효율성을 향상시키기 위해 전체 정밀도 합성곱 레이어를 다수의 병렬 이진 분지로 분해하는 구조적 이진 신경망인 Group-Net을 제안한다. 상호 그룹 간 연결을 학습하고 Atrous Spatial Pyramid Pooling(ASPP)과 같은 작업별 구조를 통합함으로써 Group-Net은 이진 네트워크 분야에서 최신 기술 성능을 달성하며 계산 비용을 크게 절감한다.

ABSTRACT

In this paper, we propose to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models specifically} for mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs seek to approximate the floating-point information using a set of discrete values, which we call value approximation, but typically assume the same architecture as the full-precision networks. In this paper, however, we take a novel 'structure approximation' view for quantization---it is very likely that a different architecture may be better for best performance. In particular, we propose a `network decomposition' strategy, named extbf{Group-Net}, in which we divide the network into groups. In this way, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representational capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for highly accurate semantic segmentation by embedding rich context into the binary structure. Experiments on both classification and semantic segmentation tasks demonstrate the superior performance of the proposed methods over various popular architectures. In particular, we outperform the previous best binary neural networks in terms of accuracy and major computation savings.

연구 동기 및 목표

• 극도의 가중치 및 활성화 양자화로 인한 이진 신경망(BNN)의 성능 저하 문제를 해결하기 위해.
• 기존의 값 근사 기반 양자화의 한계를 극복하기 위해 새로운 구조 근사 파라다임을 제안하기 위해.
• 표준 양자화보다 고수준의 구조적 정보를 더 잘 유지하는 유연하고 작업 적응형 이진 아키텍처를 설계하기 위해.
• 계산 비용을 증가시키지 않고도 복잡한 작업인 세분화 작업에 BNN을 확장하기 위해.
• 구조적 설계가 표준 양자화를 능가하면서도 하드웨어 효율성을 유지할 수 있음을 보여주기 위해.

제안 방법

• 전체 정밀도 레이어를 그룹으로 분할하고, 각 그룹을 동일한 이진 분지로 근사하는 네트워크 분해 전략인 Group-Net을 제안한다.
• 효과적인 상호 그룹 간 연결을 학습하기 위해 융합 게이트 메커니즘을 도입한다.
• 세분화 작업을 위해 Atrous Spatial Pyramid Pooling(ASPP)와 같은 작업별 구조적 편향을 직접 이진 기반 아키텍처에 통합한다.
• 비가역적 이진화 연산을 통해 기울기를 역전파하기 위해 미분 가능한 직행 추정기(STE)를 사용한다.
• 활성화의 동적 범위를 제한하고 저비트 활성화의 양자화 오차를 줄이기 위해 클립 함수를 사용한 균일 양자화를 적용한다.
• 가중치는 이진 유지하면서도 활성화를 2~4비트로 높은 비트폭으로 허용하는 혼합 정밀도 설정을 지원한다.

실험 결과

연구 질문

• RQ1 재구성된 이진 아키텍처가 BNN에서 표준 값 근사 기반 양자화를 능가할 수 있는가?
• RQ2 학습 가능한 상호 그룹 간 연결을 갖는 이진 그룹으로 네트워크를 분해하면 이미지 분류 및 세분화 작업에서 성능 향상이 이루어지는가?
• RQ3 작업별 구조적 편향(예: ASPP)이 이진 네트워크 아키텍처에 효과적으로 통합되어 세분화 정확도를 향상시킬 수 있는가?
• RQ4 Group-Net에서 그룹당 이진 기저의 수가 정확도와 모델 용량에 미치는 영향은 어떠한가?
• RQ5 Group-Net은 다양한 네트워크 아키텍처(예: ResNet, AlexNet)와 작업(분류, 세분화)에 일반화 가능한가?

주요 결과

• ResNet-50를 사용하여 이진 가중치와 4비트 활성화를 적용한 Group-Net은 ImageNet에서 76.0%의 Top-1 정확도를 달성하여 전체 정밀도 모델과 동일한 성능을 보였다.
• ResNet-18에서 Group-Net은 이진 가중치와 4비트 활성화를 사용하여 70.1%의 Top-1 정확도를 기록했으며, 기준 모델 LBD보다 10.0%포인트 높은 성능을 보였다.
• 5개의 이진 기저와 4비트 활성화를 사용할 경우, ResNet-18에서 Group-Net은 70.4%의 Top-1 정확도를 달성했으며, 전체 정밀도 모델보다 0.7%포인트 낮은 성능이었다.
• 세분화 작업에서 이진 기반 아키텍처에 ASPP를 통합하면 계산 비용을 증가시키지 않고도 성능 향상이 이루어졌다.
• 모델은 잘 일반화되었으며, 이진 가중치와 2비트 활성화를 사용한 ResNet-18에서 Group-Net은 69.6%의 Top-1 정확도를 기록했으며, 전체 정밀도 모델과 0.1%포인트 차이 뿐이었다.
• 실험 결과, 미세조정보다는 라이트에서부터 학습하는 것이 더 좋은 성능을 내었으며, 다양한 네트워크 깊이와 비트폭에서 모델이 강건함을 입증했다.