[논문 리뷰] PipeCNN: An OpenCL-Based FPGA Accelerator for Large-Scale Convolution Neuron Networks

Dong Wang, Jianjing An외 1명|arXiv (Cornell University)|2016. 11. 08.

Advanced Neural Network Applications참고 문헌 5인용 수 32

한 줄 요약

이 논문은 대규모 합성곱 신경망(CNN)을 위한 OpenCL 기반 FPGA 가속기인 PipeCNN을 제안한다. 깊이 파ip라이닝된 커널과 데이터 재사용 기법을 활용하여 성능과 자원 효율성을 향상시킨다. FPGA의 파이프라이닝 능력을 활용하고 커널 매핑을 최적화함으로써, 이전 작업 대비 34% 감소한 DSP 사용량으로 33.9 GOPS 성능을 달성하며, 전체 정밀도(32비트 부동소수점) 추론 및 학습 호환성을 지원한다.

ABSTRACT

Convolutional neural networks (CNNs) have been widely employed in many applications such as image classification, video analysis and speech recognition. Being compute-intensive, CNN computations are mainly accelerated by GPUs with high power dissipations. Recently, studies were carried out exploiting FPGA as CNN accelerator because of its reconfigurability and energy efficiency advantage over GPU, especially when OpenCL-based high-level synthesis tools are now available providing fast verification and implementation flows. Previous OpenCL-based design only focused on creating a generic framework to identify performance-related hardware parameters, without utilizing FPGA's special capability of pipelining kernel functions to minimize memory bandwidth requirement. In this work, we propose an FPGA accelerator with a new architecture of deeply pipelined OpenCL kernels. Data reuse and task mapping techniques are also presented to improve design efficiency. The proposed schemes are verified by implementing two representative large-scale CNNs, AlexNet and VGG on Altera Stratix-V A7 FPGA. We have achieved a similar peak performance of 33.9 GOPS with a 34% resource reduction on DSP blocks compared to previous work. Our design is openly accessible and thus can be reused to explore new architectures for neural network accelerators.

연구 동기 및 목표

• 임베디드 시스템에서 GPU 기반 CNN 가속기의 높은 전력 소비와 제한된 확장성 문제를 해결하기 위해.
• 이전의 OpenCL 기반 FPGA 설계들이 파이프라이닝과 메모리 대역폭 최적화를 제대로 활용하지 못하는 한계를 극복하기 위해.
• OpenCL과 고수준 합성(HLS)을 활용해 고성능, 확장성 있고 재사용 가능한 FPGA 가속기를 개발하기 위해.
• Stratix-V A7 FPGA에서 CNN 추론을 위한 파이프라이닝된 커널의 설계 공간을 탐색하고 최적화하기 위해.
• 향후 신경망 가속기 설계 연구를 위한 오픈소스로 재사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 아키텍처는 데이터 스트리밍을 위해 OpenCL 채널로 연결된 네 개의 OpenCL 커널—합성곱, 풀링, LRN, 완전 연결—을 사용한다.
• 통과량을 극대화하고 메모리 대역폭 압력을 최소화하기 위해 깊이 파이프라이닝된 커널 설계를 적용한다.
• 중복된 메모리 액세스를 줄이고 데이터 국소성을 향상시키기 위해 데이터 재사용 및 작업 매핑 기법을 적용한다.
• 추론과 역전파 학습 모두에서 완전한 호환성을 확보하기 위해 32비트 부동소수점 정밀도를 사용한다.
• LRN 커널에서 면적 오버헤드를 최소화하면서도 효율적인 정규화 계산을 위해 조각별 선형 근사(pwlf) 방법을 사용한다.
• 성능과 자원 사용량을 최적화하기 위해 벡터 크기(VEC_SIZE)와 계산 유닛 수(CU_NUM)를 변화시켜 설계 공간 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 FPGA 기반 CNN 가속기에서 메모리 대역폭 압력을 줄이기 위해 파이프라이닝된 OpenCL 커널을 어떻게 효과적으로 활용할 수 있는가?
• RQ2 Stratix-V A7 FPGA에서 성능과 자원 효율성을 극대화하기 위해 최적의 벡터 크기와 계산 유닛 수 조합은 무엇인가?
• RQ3 OpenCL 기반 FPGA 가속기가 이전의 HSL 기반 설계 대비 경쟁력 있는 성능을 달성하면서도 DSP 자원 사용을 줄일 수 있는가?
• RQ4 FPGA 기반 CNN 가속기에서 전체 정밀도(32비트 부동소수점) 계산 사용이 성능와 자원 활용도에 어떤 영향을 미치는가?
• RQ5 기존의 FPGA 기반 CNN 가속기와 비교해 본다면, 제안된 아키텍처의 성능 밀도(GOPS per DSP)는 어떻게 되는가?

주요 결과

• PipeCNN는 Stratix-V A7 FPGA에서 최대 33.9 GOPS 성능을 달성했으며, 이는 이전 작업과 동일한 성능를 유지하면서도 훨씬 적은 DSP 블록을 사용한다.
• FPGA2016 논문 대비 DSP 사용량을 34% 감소시켜 성능 밀도 0.21 GOPS/DSP를 달성했으며, 이는 기준 대비 60% 높은 성능이다.
• DE5-net 보드의 최적 설정은 VEC_SIZE=8 및 CU_NUM=16로, AlexNet의 추론 시간은 43ms, VGG-16는 718ms를 기록했다.
• 더 높은 CU 수에서 메모리 대역폭이 제한 요소가 되어 12.8 GB/s DRAM 한계로 인해 파이프라인 정지와 수익 감소 현상이 발생한다.
• AlexNet 기준 전력 소모는 27.3W, VGG-16 기준 29.8W이며, 전체 정밀도 계산을 수행함에도 불구하고 높은 효율성을 유지한다.
• 설계의 오픈소스 공개로 향후 신경망 가속기 개발 연구의 재사용과 확장이 가능해졌다.