[논문 리뷰] Structured Binary Neural Networks for Image Recognition

Bohan Zhuang, Chunhua Shen외 4명|arXiv (Cornell University)|2019. 09. 22.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 전체 정밀도 네트워크를 그룹으로 분해하고, 각 그룹을 다수의 동일한 이진 분기로 근사하는 구조적 근사 접근법인 GroupNet을 제안한다. 이 방법은 입력 조건에 따라 동적으로 실행 가능한 희박한 이진 분기를 가능하게 하여, 메모리 소비를 줄이고 고정점 양자화보다 뛰어난 속도 향상을 이끌어내며 이미지 분류, 세분화, 객체 검출 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose methods to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models that are specifically friendly to mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs often seek to approximate the floating-point information using a set of discrete values, which we call value approximation, typically assuming the same architecture as the full-precision networks. Here we take a novel "structure approximation" view of quantization -- it is very likely that different architectures designed for low-bit networks may be better for achieving good performance. In particular, we propose a "network decomposition" strategy, termed Group-Net, in which we divide the network into groups. Thus, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representation capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for accurate semantic segmentation by embedding rich context into the binary structure. Furthermore, for the first time, we apply binary neural networks to object detection. Experiments on both classification, semantic segmentation and object detection tasks demonstrate the superior performance of the proposed methods over various quantized networks in the literature. Our methods outperform the previous best binary neural networks in terms of accuracy and computation efficiency.

연구 동기 및 목표

• 이미지 분류를 초과하는 복잡한 시각 작업에서 가치 근사 기반의 양자화가 성능을 떨어뜨리는 문제를 해결하기 위해.
• 기존 가치 근사의 대안으로 구조적 근사를 탐색하여 저비트 네트워크 설계에서 아키텍처의 유연성을 확보하기 위해.
• 전체 정밀도 모델이 다수의 이진 기저를 사용하여 효과적으로 재구성될 수 있도록 그룹 분해 전략을 개발하기 위해.
• 입력 특징에 기반한 조건부 실행을 통해 이진 분기의 실행을 유도함으로써 모델 용량을 향상시키면서도 계산 효율성을 유지하기 위해.
• 이전 BNN이 성공을 거두지 못한 밀도 예측 작업인 세분화 및 객체 검출에 이진 신경망을 효과적으로 확장하기 위해.

제안 방법

• 전체 정밀도 네트워크를 그룹으로 분할하고, 각 그룹을 동일한 이진 분기 집합으로 근사하는 그룹 분해 전략인 GroupNet을 제안한다.
• 엔드 투 엔드 학습을 통해 각 그룹의 이진 기저를 최적화함으로써 원래 네트워크의 표현 능력을 효과적으로 재구성한다.
• 동적 조건부 계산을 도입하여, 입력 특징에 따라 각 그룹 내에서 일부 이진 분기만 실행되도록 하여, FLOPs를 증가시키지 않으면서도 모델 용량을 향상시킨다.
• 컴파일 시점에 사전에 정의된 텐서 수명 주기 매핑을 사용하여 메모리 풀링 전략을 적용함으로써 런타임 메모리 오버헤드를 최소화하고 분기 간 버퍼 재사용을 유도한다.
• 단일 정적 메모리 풀을 사용하는 컴파일 단계 메모리 할당 전략을 활용하여 추론 중 메모리 할당 지연을 줄인다.
• 이진 구조에 맥락적 특징을 통합하여 세분화에 GroupNet 프레임워크를 적용하고, 객체 검출로도 확장한다.

실험 결과

연구 질문

• RQ1 그룹 분해를 통한 구조적 근사는 기존 가치 근사 기반의 양자화보다 이진 신경망 학습에서 더 나은 성능을 낼 수 있는가?
• RQ2 기반 이진 네트워크 아키텍처가 이미지 분류, 세분화, 객체 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 희박한 이진 분기의 동적 실행은 계산 효율성을 유지하면서 모델 용량을 어떻게 향상시키는가?
• RQ4 고정점 양자화 방법과 비교해 GroupNet의 런타임 메모리 소비와 속도 향상 간의 트레이드오프는 어떠한가?
• RQ5 이진 신경망은 세분화 및 객체 검출과 같은 밀도 예측 작업으로 효과적으로 일반화될 수 있는가?

주요 결과

• GroupNet은 기존의 양자화된 네트워크보다 ImageNet 분류에서 뛰어난 정확도를 달성하였으며, ResNet-18 기반으로 top-1 정확도 72.1%를 기록하였다.
• 이 방법은 세분화 작업으로도 효과적으로 일반화되어, PASCAL VOC에서 71.3%의 평균 IoU를 기록하며 밀도 예측 작업에서 강력한 성능을 보였다.
• COCO에서의 객체 검출 작업에서는 마스크 R-CNN 기반으로 이진 가중치를 사용해 28.5%의 AP를 달성하여 복잡한 검출 작업에 대한 타당성을 입증하였다.
• GroupNet의 런타임 메모리 소비는 base=4일 때 11.24 MB로, 전체 정밀도(83.14 MB)보다 크게 줄었으며, 2비트 고정점(6.24 MB)과 유사한 수준이었고, 파라미터 저장으로 인한 약간의 증가 외에는 거의 영향을 주지 않았다.
• GPU 플랫폼에서 가속 코드를 통해 뛰어난 속도 향상을 기록하였으며, 메모리 재사용 최적화와 메모리 접근 오버헤드 감소 덕분에 고정점 양자화보다 GroupNet이 더 뛰어난 런타임 효율성을 보였다.
• 메모리 풀링 전략은 컴파일 시점에 사전에 텐서 버퍼 매핑을 결정함으로써 런타임 메모리 할당 시간을 거의 0에 가깝게 줄였다.