[논문 리뷰] Training Bit Fully Convolutional Network for Fast Semantic Segmentation

He Wen, Shuchang Zhou외 5명|arXiv (Cornell University)|2016. 12. 01.

Advanced Neural Network Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 1비트 가중치와 2비트 활성화를 갖는 저비트 폭넓은 합성곱 신경망(BFCN)을 제안한다. 이는 비트-합성곱 연산을 통해 빠른 의미 세그멘테이션을 가능하게 한다. 32비트 부동소수점 연산을 비트 연산과 popcount 계산으로 대체함으로써, BFCN는 CPU에서 7.8배의 추론 속도 향상을 달성하고, FPGA 자원 사용량이 1% 미만이 되며, 경쟁력 있는 성능을 유지한다. PASCAL VOC 2012에서 62.8%의 평균 IoU를 기록했고, Cityscapes에서는 57.4%를 기록했으며, 이는 전정밀도 모델과 유사한 성능이다.

ABSTRACT

Fully convolutional neural networks give accurate, per-pixel prediction for input images and have applications like semantic segmentation. However, a typical FCN usually requires lots of floating point computation and large run-time memory, which effectively limits its usability. We propose a method to train Bit Fully Convolution Network (BFCN), a fully convolutional neural network that has low bit-width weights and activations. Because most of its computation-intensive convolutions are accomplished between low bit-width numbers, a BFCN can be accelerated by an efficient bit-convolution implementation. On CPU, the dot product operation between two bit vectors can be reduced to bitwise operations and popcounts, which can offer much higher throughput than 32-bit multiplications and additions. To validate the effectiveness of BFCN, we conduct experiments on the PASCAL VOC 2012 semantic segmentation task and Cityscapes. Our BFCN with 1-bit weights and 2-bit activations, which runs 7.8x faster on CPU or requires less than 1\% resources on FPGA, can achieve comparable performance as the 32-bit counterpart.

연구 동기 및 목표

• 실시간 및 임베디드 응용 분야에서 폭넓은 합성곱 신경망(FCNs)의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 저비트 폭넓은 양자화를 통해 CPU 및 FPGA와 같은 자원 제약이 있는 장치에서 FCNs의 효율적인 추론을 가능하게 하기 위해.
• 양자화로 인한 성능 저하를 최소화하는 새로운 훈련 전략을 개발하기 위해.
• 저비트 FCNs가 모델 크기와 추론 지연을 크게 줄이면서도 경쟁 가능한 정확도를 유지할 수 있는지 입증하기 위해.

제안 방법

• BFCN는 1비트 가중치와 2비트 활성화를 사용하여, 부동소수점 곱셈 대신 XNOR 및 popcount 연산을 통해 계산을 수행한다.
• 비트-합성곱 커널은 비트 연산(XOR)과 집합 수 계산(popcount)을 사용하여 CPU 및 FPGA에서 추론을 가속화한다.
• 저비트 폭넓은 설정에서 특징 표현을 더 잘 유지하기 위해 복구 경로에 잔차 블록을 사용한다.
• 훈련 중에 선형 비트 폭 감소 스케줄을 도입하여 비트 폭을 8에서 1 또는 2로 점진적으로 감소시켜 훈련 안정성과 양자화 오차를 감소시킨다.
• 제한된 가중치와 활성화를 갖는 ImageNet 미사전학습 ResNet-50에서 초기화하여 수렴성과 성능을 향상시킨다.
• 낮은 질량 근사 및 CRF 후처리와 같은 다른 가속 기법과의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 의미 세그멘테이션 작업에서 성능 저하 없이 폭넓은 합성곱 신경망을 1비트 가중치와 2비트 활성화로 효과적으로 양자화할 수 있는가?
• RQ2 저비트 폭 넓은 네트워크를 어떻게 효과적으로 훈련시켜, 양자화로 인한 성능 저하를 최소화할 수 있는가?
• RQ3 표준 32비트 연산 대비 비트-합성곱 연산이 CPU 및 FPGA에서 추론을 얼마나 가속화할 수 있는가?
• RQ4 잔차 블록과 비트 폭 감소 전략을 사용할 경우, 표준 이진화 네트워크 대비 저비트 FCNs의 성능 향상 정도는 어떠한가?
• RQ5 PASCAL VOC 2012 및 Cityscapes와 같은 도전적인 데이터셋에서 저비트 FCNs가 모델 크기와 지연 시간을 크게 줄이면서도 경쟁 가능한 정확도를 유지할 수 있는가?

주요 결과

• 1-2 BFCN는 PASCAL VOC 2012에서 62.8%의 평균 IoU를 기록했고, Cityscapes에서는 57.4%를 기록했으며, 각각 32비트 기준선 대비 7.4% 및 7.8% 이내의 성능를 유지한다.
• CPU에서 1-2 BFCN는 32비트 대비 7.8배 더 빠르게 작동하며, Tegra K1에서 추론 시간이 9681ms에서 1237ms로 감소한다.
• 1-2 BFCN는 파rameter 저장 용량이 4.3MB에 불과하여 32비트 모델의 137.7MB 대비 32배 감소했다.
• FPGA에서 1-2 BFCN는 32비트 모델이 소비하는 자원의 1% 미만을 사용하여 뛰어난 하드웨어 효율성을 보였다.
• 잔차 복구와 선형 비트 폭 감소를 적용한 2비트 BFCN는 VOC 2012에서 평균 IoU 67.0%를 기록했으며, 기존 버전 대비 7.4% 향상되었다.
• 성능 저하는 세부적인 클래스(예: botte, sofa, train)에서 가장 두드러지게 나타났고, 큰 크기의 흔한 클래스(예: 하늘, 자동차)는 높은 정확도를 유지했다.