[論文レビュー] High Throughput 2D Spatial Image Filters on FPGAs

Abdullah Al-Dujaili, Suhaib A. Fahmy|arXiv (Cornell University)|Oct 14, 2017

CCD and CMOS Imaging Sensors参考文献 5被引用数 7

ひとこと要約

本稿では、最新のDSPブロックを活用して最大の性能を発揮する、高スループットなFPGAベースの2次元空間的画像フィルタアーキテクチャを提示する。実行時係数再設定をサポートする一方で、DSPブロックの並列処理と簡素化された境界処理方式を活用することで、Full HD (1920×1080) 動画に対して190フレーム/秒を超える性能を達成。HLSで生成されたフィルターよりも1.7倍のピクセル処理レートを実現し、実行時柔軟性を完全に維持する。

ABSTRACT

FPGAs are well established in the signal processing domain, where their fine-grained programmable nature allows the inherent parallelism in these applications to be exploited for enhanced performance. As architectures have evolved, FPGA vendors have added more heterogeneous resources to allow often-used functions to be implemented with higher performance, at lower power and using less area. DSP blocks, for example, have evolved from basic multipliers to support the multiply-accumulate operations that are the core of many signal processing tasks. While more features were added to DSP blocks, their structure and connectivity has been optimised primarily for one-dimensional signal processing. Basic operations in image processing are similar, but performed in a two-dimensional structure, and hence, many of the optimisations in newer DSP blocks are not exploited when mapping image processing algorithms to them. We present a detailed study of two-dimensional spatial filter implementation on FPGAs, showing how to maximise performance through exploitation of DSP block capabilities, while also presenting a lean border pixel management policy.

研究の動機と目的

• 非効率な2次元空間的フィルタリングが引き起こすリアルタイムビジョンシステムにおける性能ボトルネックを解消すること。
• 1次元信号処理に最適化された現代のFPGA DSPブロックが、2次元画像フィルタリングにおいて完全に活用されていないという問題を克服すること。
• スマートビジョンシステムにおける柔軟で多目的な画像処理を可能にする、実行時係数再設定を可能とする仕組みを提供すること。
• 効率的な境界ピクセル処理とパイプラインアーキテクチャ設計により、面積と遅延のオーバーヘッドを最小限に抑えること。
• 現代のFPGA上で理論的最高スループットに近い性能を達成しつつ、リソース使用量を低く抑え、高いクロック周波数を維持すること。

提案手法

• 走査順入力とw−1行分の前回行を格納する行バッファを備えたストリーミングデータフローを用いた直接型2次元空間フィルタを設計する。
• 入力ピクセルと設定可能な係数の並列乗算をDSPブロックで実装し、実行時係数更新を可能にする。
• フィルタパイプラインのプライミング、フラッシング、アクティベート、デアクティベートを制御するステートマシン制御ユニットを統合する。
• 先行研究のオーバラッププライミングおよびフラッシング方式を適用し、フルフレームバッファリングを回避しながら境界処理のオーバーヘッドを最小限に抑える。
• 遅延とリソース使用量の最適化を目的として、DSPベース、論理回路のみ、ハイブリッドの3種類のアダー木設計を比較する。
• Xilinx Zynq FPGAをターゲットプラットフォームとし、そのDSPブロックと、処理部と再構成可能論理部の間の高帯域幅インターコネクトを活用する。

実験結果

リサーチクエスチョン

• RQ1 1次元信号処理に最適化された現代のFPGA DSPブロックを、2次元画像フィルタリングにおいても効果的に活用できるか？
• RQ2 実行時係数再設定が、FPGAベースの画像フィルタにおける面積、遅延、性能に与える影響は何か？
• RQ3 境界ピクセル処理のオーバーヘッドはどの程度で、スループットを損なわずに最小限に抑えることができるか？
• RQ4 DSPベースと論理回路ベースの異なるアダー木実装の間で、スループット、遅延、リソース使用量の観点からどのように比較できるか？
• RQ5 Vivado HLSのような高レベル合成（HLS）ツールと比較して、提案アーキテクチャは性能と柔軟性の面でどのように優れているか？

主な発見

• 提案されたDSPベースの設計は、最大462 MHzのクロック周波数を達成し、Full HD (1920×1080) 動画ストリームに対して190フレーム/秒を超える性能を実現した。
• 論理回路のみの実装では3101 LUTと2833スライスレジスタを必要としたが、DSPベースのバージョンではわずか49個のDSPブロックと3444スライスレジスタで実現され、面積効率に優れた。
• 文献[15]の方式を用いた境界処理付きのフィルタは、スライスレジスタを552個、LUTを484個に増加させたが、境界なしの場合と比較して遅延はわずか1.5%増加に抑えられ、高いスループットを維持した。
• Vivado HLSで生成されたフィルターよりも1.7倍高いピクセル処理レート（369 MHz 対 214 MHz）を達成したが、HLSツールは固定係数を最適化していたにもかかわらずである。
• 実行時係数更新をサポートするため、再プログラミングを伴わず、さまざまな画像処理関数（例：ぼかし、シャープニング、エッジ検出）の間で動的切り替えが可能である。
• DSPベースのアダー木を備えた直接型フィルタは、640×480画像に対して3874サイクルの遅延を示し、FPGAアーキテクチャの理論的最高スループットに非常に近い性能を達成した。