[논문 리뷰] Reuse Kernels or Activations? A Flexible Dataflow for Low-latency Spectral CNN Acceleration

Yue Niu, Rajgopal Kannan외 2명|arXiv (Cornell University)|2023. 10. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 FPGAs에서 저지연 스펙트럴 CNN 가속을 위한 유연한 데이터플로우 및 스케줄링 프레임워크를 제안하며, 커널과 활성화 간의 데이터 재사용을 최적화하여 외부 메모리 대역폭을 감소시킵니다. 근사 정확 커버 스케줄링 알고리즘과 동적 데이터플로우 선택을 통해 Xilinx Alveo U200에서 VGG16의 추론 지연을 9 ms로 줄였으며, 데이터 전송을 42% 감소시키고, 단지 10개의 입력 복제본으로 90%의 DSP 활용도를 달성합니다.

ABSTRACT

Spectral-domain CNNs have been shown to be more efficient than traditional spatial CNNs in terms of reducing computation complexity. However they come with a `kernel explosion' problem that, even after compression (pruning), imposes a high memory burden and off-chip bandwidth requirement for kernel access. This creates a performance gap between the potential acceleration offered by compression and actual FPGA implementation performance, especially for low-latency CNN inference. In this paper, we develop a principled approach to overcoming this performance gap and designing a low-latency, low-bandwidth, spectral sparse CNN accelerator on FPGAs. First, we analyze the bandwidth-storage tradeoff of sparse convolutional layers and locate communication bottlenecks. We then develop a dataflow for flexibly optimizing data reuse in different layers to minimize off-chip communication. Finally, we propose a novel scheduling algorithm to optimally schedule the on-chip memory access of multiple sparse kernels and minimize read conflicts. On a state-of-the-art FPGA platform, our design reduces data transfers by 42\% with DSP utilization up to 90\% and achieves inference latency of 9 ms for VGG16, compared to the baseline state-of-the-art latency of 68 ms.

연구 동기 및 목표

• 스펙트럴 CNN에서 모델 압축과 실제 FPGA 구현 간의 성능 격차를 해소하기 위해, 특히 저지연 추론을 위한 대안을 모색한다.
• 압축된 스펙트럴 CNN에서 희소 커널 액세스로 인한 통신 병목 현상을 규명하고 이를 완화한다.
• 다양한 합성곱 레이어 간의 데이터 재사용을 최적화하는 통합적이고 런타임에서 적응 가능한 데이터플로우를 설계한다.
• 비정규적인 희소 커널 액세스를 위한 새로운 스케줄링 알고리즘을 통해 현장 메모리 읽기 충돌을 최소화하고 PE 활용도를 극대화한다.
• 현대 FPGA 플랫폼에서 저외부 메모리 대역폭과 저지연 추론을 동시에 달성하는 높은 하드웨어 효율성을 확보한다.

제안 방법

• 대역폭-저장소 트레이드오프를 정량화하고 레이어별 병목 현상을 규명하기 위해 스펙트럴 합성곱 레이어의 복잡도 분석을 수행한다.
• 외부 메모리 데이터 전송을 최소화하기 위해 각 레이어별로 최적의 데이터 재사용 전략(커널 재사용 대비 활성화 재사용)을 동적으로 선택할 수 있는 유연한 데이터플로우를 설계한다.
• 레이어 특성에 따라 런타임 재구성 가능한 데이터플로우를 지원하기 위해 통합 하드웨어 아키텍처를 구현한다.
• 다중 희소 커널 간의 현장 메모리 액세스를 최적화하여 읽기 충돌을 최소화하는 근사 정확 커버 기반 스케줄링 알고리즘을 제안한다. 이 알고리즘은 최소한의 입력 복제본으로도 기능한다.
• 스케줄링 알고리즘은 커널 희소성 패턴에 대한 구조적 제약 없이 작동하므로, 임의의 희소 커널에 일반화 가능하다.
• 최적 성능 확보를 위해 16비트 고정소수점 산술을 사용하고, 64개의 병렬 커널과 10개의 입력 복제본을 활용하여 Xilinx Alveo U200 FPGA에 설계를 구현한다.

실험 결과

연구 질문

• RQ1 희소 스펙트럴 합성곱 레이어에서의 대역폭-저장소 트레이드오프는 어떻게 분석적으로 모델링할 수 있으며, 이를 통해 통신 병목 현상을 규명할 수 있는가?
• RQ2 다양한 스펙트럴 CNN 레이어에서 외부 메모리 전송 비용을 최소화하기 위해 커널 재사용과 활성화 재사용 중 어떤 전략이 더 유리한가?
• RQ3 희소 커널의 비정규적인 현장 메모리 액세스 패턴은 어떻게 스케줄링하여 읽기 충돌을 최소화하고 PE 활용도를 극대화할 수 있는가?
• RQ4 패턴 제약 없이 다양한 희소 커널 희소성 패턴에 일반적으로 적용 가능한 일반 목적의 스케줄링 알고리즘을 설계할 수 있는가?
• RQ5 FPGA에서의 민감한 데이터플로우와 최적 스케줄링을 조합함으로써 스펙트럴 CNN의 하드웨어 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 유연한 데이터플로우는 Alveo U200 FPGA에서 VGG16 기준 기준선 대비 외부 메모리 데이터 전송을 42% 감소시켰다.
• VGG16의 추론 지연은 9 ms로 단축되었으며, 기존 최고 성능 기준선(68 ms) 대비 7.5배 향상되었다.
• 단지 10개의 입력 복제본으로도 DSP 활용도가 최대 90%에 도달하여 높은 하드웨어 효율성을 입증했다.
• 근사 정확 커버 스케줄링 알고리즘은 무작위 희소성 패턴에서도 near-optimal한 PE 활용도를 달성했으며, α=4일 때 ADMM 기반 프루닝 커널과 동일한 성능을 보였다.
• 외부 메모리 대역폭은 12 GB/s로, 9 ms 지연 목표를 충족하기 위해 기존 기준선 시스템을 확장한 경우 요구하는 70 GB/s보다 현저히 낮았다.
• FPGA 피치는 장치 면적의 70%를 차지하여, 디자인이 면적 및 대역폭 제약을 받고 있음을 시사하며, 라우팅 및 면적 오버헤드로 인해 자원 확장에 한계가 있음을 나타낸다.