[論文レビュー] Reuse Kernels or Activations? A Flexible Dataflow for Low-latency Spectral CNN Acceleration

Yue Niu, Rajgopal Kannan+2 more|arXiv (Cornell University)|Oct 17, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、FPGA上での低遅延スペクトルCNN加速のための柔軟なデータフローおよびスケジューリングフレームワークを提案する。カーネルと活性化の間のデータ再利用を最適化することで、外部メモリ帯域幅を削減する。近似正確被覆スケジューリングアルゴリズムと動的データフロー選択を用いることで、Xilinx Alveo U200上でVGG16の推論遅延を9 msにまで低減し、データ転送量を42%削減。また、わずか10個の入力レプリカで90%のDSP利用率を達成する。

ABSTRACT

Spectral-domain CNNs have been shown to be more efficient than traditional spatial CNNs in terms of reducing computation complexity. However they come with a `kernel explosion' problem that, even after compression (pruning), imposes a high memory burden and off-chip bandwidth requirement for kernel access. This creates a performance gap between the potential acceleration offered by compression and actual FPGA implementation performance, especially for low-latency CNN inference. In this paper, we develop a principled approach to overcoming this performance gap and designing a low-latency, low-bandwidth, spectral sparse CNN accelerator on FPGAs. First, we analyze the bandwidth-storage tradeoff of sparse convolutional layers and locate communication bottlenecks. We then develop a dataflow for flexibly optimizing data reuse in different layers to minimize off-chip communication. Finally, we propose a novel scheduling algorithm to optimally schedule the on-chip memory access of multiple sparse kernels and minimize read conflicts. On a state-of-the-art FPGA platform, our design reduces data transfers by 42\% with DSP utilization up to 90\% and achieves inference latency of 9 ms for VGG16, compared to the baseline state-of-the-art latency of 68 ms.

研究の動機と目的

• スペクトルCNNにおけるモデル圧縮と実際のFPGA実装の間の性能ギャップを是正すること。特に、低遅延推論において。
• 圧縮されたスペクトルCNNにおけるスパースカーネルアクセスによって引き起こされる通信ボトルネックを特定および緩和すること。
• 異なる畳み込み層にわたるデータ再利用を最適化する、統一的かつランタイムで適応可能なデータフローの設計。
• 不規則なスパースカーネルアクセスに対応するための新規スケジューリングアルゴリズムを用いて、オンチップメモリのリード競合を最小限に抑え、PEの利用率を最大化すること。
• 現代のFPGAプラットフォーム上で、低外部帯域幅と低推論遅延を実現する高効率なハードウェア実装を達成すること。

提案手法

• 帯域幅-ストレージトレードオフを定量化し、層固有のボトルネックを同定するため、スペクトル畳み込み層の複雑さ分析を実施する。
• 各層ごとに最適なデータ再利用戦略（カーネル再利用対アクティベーション再利用）を動的に選択できる柔軟なデータフローを設計する。
• 層の特性に基づいてランタイムでデータフローを再構成可能な統一されたハードウェアアーキテクチャを実装する。
• 複数のスパースカーネルにわたるオンチップメモリアクセスを最適にスケジューリングする、近似正確被覆に基づくスケジューリングアルゴリズムを提案する。最小限の入力レプリカでリード競合を最小限に抑える。
• スケジューリングアルゴリズムは、カーネルスパースネスパターンに構造的制約を課さない。これにより、任意のスパースカーネルに一般化可能である。
• 16ビット固定小数点演算を用い、Xilinx Alveo U200 FPGA上で実装。64本の並列カーネルと10個の入力レプリカを用いて最適なパフォーマンスを達成する。

実験結果

リサーチクエスチョン

• RQ1 スパーススペクトル畳み込み層における帯域幅-ストレージトレードオフは、どのように解析的にモデル化され、通信ボトルネックの同定に利用できるか？
• RQ2 異なるスペクトルCNN層において、外部メモリ通信コストを最小化するデータ再利用戦略として、カーネル再利用とアクティベーション再利用のどちらが効果的か？
• RQ3 スパースカーネルの不規則なオンチップメモリアクセスパターンは、どのようにスケジューリングされ、リード競合を最小限に抑えつつPEの利用率を最大化できるか？
• RQ4 パターン制約なしで、多様なスパースカーネルスパースネスパターンに一般化可能な汎用スケジューリングアルゴリズムを設計できるか？
• RQ5 FPGA上で柔軟なデータフローと最適スケジューリングを組み合わせることで、スペクトルCNNにおけるハードウェア効率はどの程度向上できるか？

主な発見

• 提案された柔軟なデータフローにより、Alveo U200 FPGA上でのVGG16に対して、ベースライン比で42%の外部メモリデータ転送量削減が達成された。
• VGG16の推論遅延は9 msにまで低減され、最先端のベースライン（68 ms）と比較して7.5倍の高速化が達成された。
• わずか10個の入力レプリカでDSP利用率が最大90%に達し、高いハードウェア効率が実証された。
• 近似正確被覆スケジューリングアルゴリズムは、ランダムなスパースネスパターンに対しても近似的に最適なPE利用率を達成し、α=4のADMMベースのプルーニングカーネルと同等の性能を示した。
• 外部帯域幅は12 GB/sにまで低減され、9 ms遅延目標を満たすためにスケーリングアップされたベースラインシステムが要請する70 GB/sと比べて顕著に低い。
• FPGAのフットプリントはデバイス面積の70%を占め、設計が面積および帯域幅制約下にあり、ルーティングと面積オーバヘッドによってリソーススケーリングが制限されていることが示された。