[논문 리뷰] Compiling Deep Learning Models for Custom Hardware Accelerators

Andre Xian Ming Chang, Aliasger Zaidy외 2명|arXiv (Cornell University)|2017. 08. 01.

Advanced Neural Network Applications참고 문헌 18인용 수 10

한 줄 요약

이 논문은 Torch7 모델 기술서에서 기계어 지시어를 자동으로 생성하는 Snowflake라는 맞춤형 FPGA 기반 딥러닝 가속기용 컴파일러를 제시한다. 모델 분석, 워크로드 분해, 메모리 대역폭 최적화를 위한 루프 재배열, 통신 부하 균형 조정을 통해 컴파일러는 수작업 최적화된 코드 수준의 성능을 달성하며, 250MHz에서 5W 소비 전력으로 AlexNet(93.6 fps)과 ResNet18(21.4 fps)의 효율적인 추론을 가능하게 한다.

ABSTRACT

Convolutional neural networks (CNNs) are the core of most state-of-the-art deep learning algorithms specialized for object detection and classification. CNNs are both computationally complex and embarrassingly parallel. Two properties that leave room for potential software and hardware optimizations for embedded systems. Given a programmable hardware accelerator with a CNN oriented custom instructions set, the compiler's task is to exploit the hardware's full potential, while abiding with the hardware constraints and maintaining generality to run different CNN models with varying workload properties. Snowflake is an efficient and scalable hardware accelerator implemented on programmable logic devices. It implements a control pipeline for a custom instruction set. The goal of this paper is to present Snowflake's compiler that generates machine level instructions from Torch7 model description files. The main software design points explored in this work are: model structure parsing, CNN workload breakdown, loop rearrangement for memory bandwidth optimizations and memory access balancing. The performance achieved by compiler generated instructions matches against hand optimized code for convolution layers. Generated instructions also efficiently execute AlexNet and ResNet18 inference on Snowflake. Snowflake with $256$ processing units was synthesized on Xilinx's Zynq XC7Z045 FPGA. At $250$ MHz, AlexNet achieved in $93.6$ frames/s and $1.2$ GB/s of off-chip memory bandwidth, and $21.4$ frames/s and $2.2$ GB/s for ResNet18. Total on-chip power is $5$ W.

연구 동기 및 목표

• 프로그래머블이고 저전력인 FPGA 기반 가속기(Snowflake)에 다양한 CNN 모델을 효율적으로 컴파일할 수 있도록 하는 것.
• 수작업이 많고 실수의 여지가 있는 어셈블리 코드 작성의 부담을 줄이기 위해 고수준의 Torch7 모델 기술서에서 기계어 지시어를 자동 생성하는 것.
• 지능적인 루프 재배열(Mloop 대비 Kloop)과 다중 메모리 유닛 간 부하 균형 조정을 통한 메모리 대역폭 사용 최적화.
• 다양한 CNN 아키텍처에 걸쳐 일반성을 유지하면서 하드웨어 활용도와 성능을 최대화하는 것.

제안 방법

• 모델의 구조는 Torch7 JSON 유사 모델 정의 파일에서 추출하여 레이어 유형, 차원, 연결성을 파악한다.
• CNN 워크로드는 계산 및 데이터 이동 연산으로 분해되며, 특히 컨볼루션 레이어와 그들의 메모리 액세스 패턴에 중점을 둔다.
• 대역폭 제약 조건을 기반으로 메모리 이동을 최소화하기 위해 루프 재배열 전략(Mloop: 반복적 맵 로딩; Kloop: 반복적 커널 로딩)을 선택한다.
• 통신 부하 균형 조정을 통해 네 개의 로드/스토어 유닛 간 메모리 로드 지시어를 균일하게 분배하여 병목 현상을 방지하고 대역폭 활용도를 향상시킨다.
• 컴파일러는 성능 모델을 사용하여 데이터 재사용 및 지시어 스케줄링 결정을 안내하며, 공백 주기의 최소화와 계산과의 오버랩 최대화를 달성한다.
• 생성된 지시어는 수작업 최적화된 코드와 비교 검증되었으며, 실제 모델(AlexNet, ResNet18, ResNet50)을 사용해 Snowflake FPGA에서 벤치마킹되었다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 복잡한 CNN 모델을 RISC 기반 맞춤형 지시어 세트를 가진 맞춤형 하드웨어 가속기로 효율적으로 매핑할 수 있는가?
• RQ2 다양한 컨볼루션 레이어 구성에 대해 메모리 대역폭 압력을 최소화하는 루프 순서 전략(Mloop 대비 Kloop)은 무엇인가?
• RQ3 다중 메모리 유닛 간 통신 부하 균형 조정이 전체 가속기 활용도와 처리량에 얼마나 기여하는가?
• RQ4 완전 자동 컴파일러가 컨볼루션 레이어에 대해 수작업 최적화된 어셈블리 코드 수준의 성능을 달성할 수 있는가?

주요 결과

• 컴파일러가 생성한 컨볼루션 레이어 지시어는 수작업 최적화된 어셈블리 코드와 0.1% 이내의 성능를 기록하여 높은 코드 생성 효율성을 입증했다.
• 250MHz에서 Snowflake는 1.2 GB/s 외부 메모리 대역폭을 사용해 AlexNet 추론 시 93.6 프레임/초 성능을 달성했다.
• ResNet18의 경우 2.2 GB/s 메모리 대역폭을 사용해 21.4 프레임/초 성능을 기록하며 깊은 네트워크로의 확장성을 입증했다.
• 통신 부하 균형 조정으로 메모리 병목 현상에 의한 성능 저하를 감소시켜, 5% 불균형 시 1.658배, 114% 불균형 시 1.297배의 속도 향상을 달성했다.
• 컴파일러는 ResNet50 추론을 프레임당 218.61ms 내외로 성공적으로 수행하여 다양한 모델 아키텍처에 대한 일반성 확인했다.
• 메모리 대역폭 제약과 캐시 미스(냉각 캐시 미스)가 주요 병목 요소로 규명되었으며, 특히 완전 연결 레이어에서 두드러져 향후 최적화 기회를 제시했다.