[논문 리뷰] A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks

Yixing Li, Zichuan Liu외 3명|arXiv (Cornell University)|2017. 02. 20.

Advanced Neural Network Applications참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이진 합성곱 신경망(BNNs)을 위한 FPGA 기반 가속기 아키텍처를 제안하며, 막대한 공간적 병렬성과 깊은 파이pline을 활용하여 소형 배치 추론에서 테이탄 X GPU 대비 8.3배 높은 처리량과 75배 높은 에너지 효율성을 달성한다. 이 설계는 비트 단위 연산을 활용하여 GPU보다 처리량과 에너지 효율성에서 모두 뛰어나며, 배치 크기에 관계없이 일관된 성능을 유지한다.

ABSTRACT

FPGA-based hardware accelerators for convolutional neural networks (CNNs) have obtained great attentions due to their higher energy efficiency than GPUs. However, it is challenging for FPGA-based solutions to achieve a higher throughput than GPU counterparts. In this paper, we demonstrate that FPGA acceleration can be a superior solution in terms of both throughput and energy efficiency when a CNN is trained with binary constraints on weights and activations. Specifically, we propose an optimized FPGA accelerator architecture tailored for bitwise convolution and normalization that features massive spatial parallelism with deep pipelines stages. A key advantage of the FPGA accelerator is that its performance is insensitive to data batch size, while the performance of GPU acceleration varies largely depending on the batch size of the data. Experiment results show that the proposed accelerator architecture for binary CNNs running on a Virtex-7 FPGA is 8.3x faster and 75x more energy-efficient than a Titan X GPU for processing online individual requests in small batch sizes. For processing static data in large batch sizes, the proposed solution is on a par with a Titan X GPU in terms of throughput while delivering 9.5x higher energy efficiency.

연구 동기 및 목표

• FPGA 기반 CNN 가속기에서 GPU 수준의 처리량을 달성하는 데 도전한다.
• 이진 가중치와 활성화를 활용하여 추론 워크로드의 에너지 효율성을 향상시킨다.
• 배치 크기가 변할 때도 높은 성능을 유지하는 FPGA 아키텍처를 설계한다. GPU 워크로드와는 달리 이는 배치 크기에 민감하지 않다.
• FPGA가 BNN 워크로드에서 처리량과 에너지 효율성 측면에서 GPU를 초월할 수 있음을 입증한다.

제안 방법

• 비트단위 합성곱 연산에서 동시에 여러 비트를 처리하기 위해 막대한 공간적 병렬성을 활용한다.
• 처리량을 극대화하고 계산 유닛의 활용도를 유지하기 위해 깊은 파이pline 스테이지를 사용한다.
• 이 설계는 이진 합성곱과 배치 정규화에 특별히 최적화되어 있어 불필요한 연산을 최소화한다.
• 배치 크기에 의존하지 않아도 되도록 설계되어 소형 배치에서도 높은 성능을 유지한다.
• 지연을 줄이고 대역폭 활용도를 극대화하기 위해 맞춤형 데이터 플로우와 메모리 액세스 패턴을 최적화한다.
• 실제 성능과 에너지 효율성을 평가하기 위해 Virtex-7 FPGA에 가속기를 구현한다.

실험 결과

연구 질문

• RQ1 FPGA 기반 가속기가 이진 합성곱 신경망에 대해 GPU보다 높은 처리량을 달성할 수 있는가?
• RQ2 GPU 워크로드와 달리 FPGA 설계는 다양한 배치 크기에서 일관된 성능을 유지하는가?
• RQ3 FPGA 가속기가 BNN 추론에서 GPU보다 뛰어난 에너지 효율성을 달성할 수 있는가?
• RQ4 어떤 아키텍처 최적화 기법이 FPGA 가속이 BNN 워크로드에서 GPU를 능가하도록 하는가?

주요 결과

• 소형 배치 추론(배치 크기 = 1)에서 제안된 FPGA 가속기는 테이탄 X GPU 대비 8.3배 높은 처리량을 달성한다.
• 소형 배치 처리에서 FPGA는 테이탄 X GPU 대비 75배 더 높은 에너지 효율성을 보인다.
• 대규모 배치 상황에서는 FPGA가 테이탄 X GPU와 동일한 처리량을 유지하면서도 에너지 효율성은 9.5배 높다.
• GPU 성능은 소형 배치에서 심각하게 떨어지지만, FPGA 성능은 배치 크기에 민감하지 않다.
• 깊은 파이pline과 공간적 병렬성 덕분에 다양한 워크로드에서도 처리량이 지속된다.
• 결과적으로 FPGA 가속이 BNN 워크로드에서 처리량과 에너지 효율성 측면에서 GPU를 능가할 수 있음을 입증한다.