[논문 리뷰] Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration

Jeng-Hau Lin, Tianwei Xing외 5명|arXiv (Cornell University)|2017. 07. 15.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 단일 값 분해(SVD)를 활용하여 모델 크기와 계산 비용을 줄이는 분리 가능한 필터를 갖춘 이진화 컨볼루션 신경망인 BCNNw/SF를 제안한다. 이진화 필터를 랭크-1 근사로 분해함으로써 메모리 사용량을 17% 감소시키고 FPGA에서 추론 속도를 31.3% 향상시키며, 정확도 손실는 최소한으로 유지함으로써 모바일 및 임베디드 플랫폼에서의 효율적인 하드웨어 가속을 가능하게 한다.

ABSTRACT

State-of-the-art convolutional neural networks are enormously costly in both compute and memory, demanding massively parallel GPUs for execution. Such networks strain the computational capabilities and energy available to embedded and mobile processing platforms, restricting their use in many important applications. In this paper, we push the boundaries of hardware-effective CNN design by proposing BCNN with Separable Filters (BCNNw/SF), which applies Singular Value Decomposition (SVD) on BCNN kernels to further reduce computational and storage complexity. To enable its implementation, we provide a closed form of the gradient over SVD to calculate the exact gradient with respect to every binarized weight in backward propagation. We verify BCNNw/SF on the MNIST, CIFAR-10, and SVHN datasets, and implement an accelerator for CIFAR-10 on FPGA hardware. Our BCNNw/SF accelerator realizes memory savings of 17% and execution time reduction of 31.3% compared to BCNN with only minor accuracy sacrifices.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 및 IoT 시스템에서 이진화 컨볼루션 신경망(BCNN)의 높은 메모리 및 계산 비용을 해결한다.
• 정확도가 크게 떨어지지 않도록 BCNN의 모델 크기와 MAC 연산 수를 줄인다.
• 단일 값 분해(SVD)를 이용한 필터 분해를 통해 BCNN의 효율적인 하드웨어 가속을 실현한다.
• 이진화 필터를 통한 SVD 과정을 백프로파게이션에 지원하는 미분 가능한 학습 방법을 개발한다.
• BCNNw/SF를 위한 FPGA 기반 가속기 구현 및 평가를 통해 실제 환경에서의 성능 향상을 입증한다.

제안 방법

• 이진화 2D 컨볼루션 필터에 단일 값 분해(SVD)를 적용하여, 두 개의 1D 벡터의 외적 곱으로 근사한다.
• 각 이진화 필터를 랭크-1 SVD 근사로 분해하여 두 개의 1D 이진 벡터로 나누며, 고유한 필터 수를 $2^{d^2}$에서 $2^{2d-1}$로 감소시킨다.
• 32개의 고유한 $3\times3$ 분리 가능한 이진 필터를 인코딩하기 위해 5비트 룩업 테이블을 사용하여, 필터 저장 용량을 9비트에서 5비트로 줄인다.
• 2D 컨볼루션을 수직 방향에서 수평 방향으로 순차적으로 수행하는 두 개의 1D 컨볼루션으로 대체함으로써, 출력 픽셀당 MAC 연산 수를 9개에서 6개로 감소시킨다.
• 두 가지 학습 방법을 제안한다: (1) 배치 정규화를 활용해 SVD에 의해 유도되는 노이즈를 흡수하는 확장된 직렬 통과 추정기(eSTE), 및 (2) 닫힌 형태의 기울기를 사용해 이진화 필터를 통해 기울기를 역전파하는 방법.
• Xilinx SDSoC를 사용해 C++로 가속기를 구현하였으며, ZedBoard FPGA를 대상으로 하며, 가중치와 활성화맵을 내장 RAM에 저장하고, 효율성을 위해 XOR 기반 MAC 연산을 사용한다.

실험 결과

연구 질문

• RQ1 SVD 기반의 분리 가능한 필터는 정확도를 희생시키지 않고 이진화 CNN의 메모리 사용량과 계산 복잡도를 줄일 수 있는가?
• RQ2 필터가 이진화된 상태일 때 SVD 분해 과정을 통해 기울기를 어떻게 역전파할 수 있는가?
• RQ3 제안된 방법은 BCNN의 하드웨어 가속에서 상당한 속도 향상과 메모리 절감을 달성할 수 있는가?
• RQ4 두 가지 제안된 학습 방법(eSTE 및 SVD 기반 기울기)은 정확도와 학습 안정성 측면에서 어떻게 비교되는가?
• RQ5 BCNNw/SF를 위한 FPGA 기반 가속기는 표준 BCNN 대비 지연 시간과 자원 활용 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• BCNNw/SF는 FPGA에서 표준 BCNN 대비 블록 RAM 사용량을 17.0% 감소시켰으며, 주로 5비트 인코딩을 사용한 필터 표현 압축 덕분이다.
• 가속기 구현 결과, CIFAR-10 추론에서 실행 시간이 31.3% 감소하고(1.46배의 속도 향상), 더 작은 가중치 저장소로 인한 메모리 액세스 감소 덕분이다.
• 5비트에서 6비트 필터 매핑을 위한 추가 디코더 논리로 LUT 수가 약 3.2% 증가했지만, 나머지 자원(FF, DSP)은 거의 그대로 유지되었다.
• eSTE 방법은 배치 정규화를 활용해 SVD에 기인한 노이즈를 흡수함으로써 더 빠르고 단순한 학습을 가능하게 하였고, SVD 기반 기울기 방법은 더 부드러운 학습과 잠재적으로 더 높은 정확도를 제공한다.
• MNIST, CIFAR-10, SVHN에서 상태 최신 수준에 근접한 정확도를 유지하며, 정확도 저하가 미미하여 제안된 방법의 효과성을 확인한다.
• FPGA 구현 결과, BCNNw/SF는 저전력 임베디드 플랫폼에서 실시간 추론에 적합하며, 최소한의 하드웨어 오버헤드로 상당한 성능 향상을 보였다.