[논문 리뷰] A 7.663-TOPS 8.2-W Energy-efficient FPGA Accelerator for Binary Convolutional Neural Networks

Yixing Li, Zichuan Liu외 3명|arXiv (Cornell University)|2017. 02. 20.

Advanced Neural Network Applications참고 문헌 4인용 수 26

한 줄 요약

이 논문은 이진 컨볼루션 신경망(BCNNs)을 위한 최적화된 7.663-TOPS, 8.2-W FPGA 가속기인 바이너리 컨볼루션 신경망(BCNNs)을 위한 최적화된 7.663-TOPS, 8.2-W FPGA 가속기를 제시한다. 이는 광범위한 공간적 병렬성과 깊은 파이프라인을 활용하여 소형 배치 추론에서 테이탄 X GPU 대비 8.3배 높은 처리량과 75배 높은 에너지 효율성을 달성한다. 이 설계는 배치 크기에 민감하지 않으며, 동적이고 저지연 응용 분야에서 GPU를 능가한다.

ABSTRACT

FPGA-based hardware accelerators for convolutional neural networks (CNNs) have obtained great attentions due to their higher energy efficiency than GPUs. However, it is challenging for FPGA-based solutions to achieve a higher throughput than GPU counterparts. In this paper, we demonstrate that FPGA acceleration can be a superior solution in terms of both throughput and energy efficiency when a CNN is trained with binary constraints on weights and activations. Specifically, we propose an optimized FPGA accelerator architecture tailored for bitwise convolution and normalization that features massive spatial parallelism with deep pipelines stages. A key advantage of the FPGA accelerator is that its performance is insensitive to data batch size, while the performance of GPU acceleration varies largely depending on the batch size of the data. Experiment results show that the proposed accelerator architecture for binary CNNs running on a Virtex-7 FPGA is 8.3x faster and 75x more energy-efficient than a Titan X GPU for processing online individual requests in small batch sizes. For processing static data in large batch sizes, the proposed solution is on a par with a Titan X GPU in terms of throughput while delivering 9.5x higher energy efficiency.

연구 동기 및 목표

• GPU 대비 FPGA에서 CNN 추론의 높은 처리량과 에너지 효율성 달성에 도전한다.
• 배치 크기에 크게 의존하는 GPU 가속기의 성능 변동성을 극복한다.
• 이진 컨볼루션과 정규화 연산에 특화된 전용 FPGA 아키텍처를 설계한다.
• 소형 배치 크기가 일반적인 실시간, 저지연 응용 분야에서 높은 성능을 제공한다.

제안 방법

• 비트 단위의 컨볼루션 연산을 위해 광범위한 공간적 병렬성과 깊은 파이프라인 스테이지가 구현된 맞춤형 FPGA 가속기를 Virtex-7 FPGA에 구현한다.
• 비트 수준의 병렬성과 단순화된 산술 연산을 활용해 이진 신경망을 최적화한다.
• BCNN 추론 파이프라인에서 배치 정규화를 지원하기 위해 효율적인 정규화 유닛을 통합한다.
• 다양한 배치 크기에서 일관된 성능을 유지하고 처리량 저하를 최소화하도록 설계를 구성한다.
• 데이터 처리량을 극대화하고 지연을 최소화하기 위해 고수준 합성과 맞춤형 메모리 액세스 패턴을 사용한다.
• 자원 활용도와 클럭 주파수를 균형 있게 조정하여 저전력 소비(8.2 W)로 높은 처리량을 달성한다.

실험 결과

연구 질문

• RQ1 FPGA 기반 가속기가 이진 CNN 추론에서 GPU보다 처리량과 에너지 효율성 면에서 뛰어나게 할 수 있는가?
• RQ2 GPU와 비교해 배치 크기가 변할 경우 FPGA 가속기의 성능는 어떻게 변화하는가?
• RQ3 공간적 병렬성과 깊은 파이프라인 기법이 이진 CNN 가속기의 처리량 향상에 얼마나 기여하는가?
• RQ4 온라인 응용 분야에서 흔한 소형 배치 추론에서도 FPGA 가속기가 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 FPGA 가속기는 Virtex-7 FPGA에서 7.663 TOPS의 추론 처리량을 달성한다.
• 소형 배치 추론(예: 온라인 요청)에서 이 가속기는 테이탄 X GPU보다 8.3배 더 빠르다.
• 소형 배치 환경에서 FPGA 솔루션은 테이탄 X GPU 대비 75배 높은 에너지 효율성을 제공한다.
• 대용량 배치 정적 데이터 처리에서 이 가속기는 테이탄 X GPU와 동일한 처리량을 달성하면서도 에너지 효율성은 9.5배 높다.
• 이 가속기의 성능는 배치 크기에 크게 민감하지 않으며, GPU 기반 솔루션과는 달리 성능 저하가 거의 없다.
• 이 설계는 이진 CNN에 적용할 경우 FPGA 가속이 GPU 가속보다 처리량과 에너지 효율성 면에서 뛰어나다는 것을 입증한다.