[論文レビュー] A Unified Hardware Architecture for Convolutions and Deconvolutions in CNN

Lin Bai, Yecheng Lyu+1 more|arXiv (Cornell University)|May 29, 2020

Advanced Neural Network Applications参考文献 5被引用数 5

ひとこと要約

本稿では、畳み込み層と逆畳み込み層の両方の処理に同じプロセス要素アレイを共有する統合型FPGAベースのハードウェアアクセラレータを提案する。これにより、別々のハードウェアを必要としなくなる。オンチップメモリの再利用とデータフローの最適化により、Xilinx ZC706 FPGA上で畳み込み処理で151.5 GOPS、逆畳み込み処理で94.3 GOPSを達成し、既存の設計を上回る性能を発揮しながら、両処理のリソース効率をバランスさせている。

ABSTRACT

In this paper, a scalable neural network hardware architecture for image segmentation is proposed. By sharing the same computing resources, both convolution and deconvolution operations are handled by the same process element array. In addition, access to on-chip and off-chip memories is optimized to alleviate the burden introduced by partial sum. As an example, SegNet-Basic has been implemented using the proposed unified architecture by targeting on Xilinx ZC706 FPGA, which achieves the performance of 151.5 GOPS and 94.3 GOPS for convolution and deconvolution respectively. This unified convolution/deconvolution design is applicable to other CNNs with deconvolution.

研究の動機と目的

• 特にセマンティックセグメンテーションにおいて顕著な性能ボトルネックを引き起こす未加速の逆畳み込み処理を解消すること。
• 畳み込みと逆畳み込みの両方の処理を1つのアーキテクチャで処理可能にすることで、ハードウェアの重複を低減すること。
• オフチップ帯域幅と中間保存領域のオーバーヘッドを最小限に抑えるために、メモリアクセスパターンを最適化すること。
• FPGA上で高い性能とスケーラビリティを実現しながら、両処理のリソース効率を維持すること。
• Xilinx ZC706 FPGA上にSegNet-Basicを実装することで、本設計の有効性を実証すること。

提案手法

• データフローと計算スケジューリングを再構成可能にすることで、畳み込みと逆畳み込みの両方をサポートする統合型プロセス要素アレイを提案する。
• ループアンローリング、ループタイリング、ループ入れ替えを用いて、データ再利用を最適化し、メモリ帯域幅を削減する。
• ラインバッファとシフトレジスタを組み合わせたハイブリッドメモリアクセス戦略を実装し、特徴マップのストリーミング処理を管理し、オフチップメモリアクセスを削減する。
• システムコントローラを有限状態機械（FSM）として統合し、データフロー、パディングモード、活性化／プーリングユニットのバイパス制御を管理する。
• デュアルバッファリングを活用して、データ転送の遅延を隠蔽し、計算とメモリアクセスのバランスを取る。
• バッチ正規化と活性化関数（ReLU/LeakyReLU）をプロセス要素内に直接実装し、外部データ移動を削減する。

Figure 1: Typical CNN structure for semantic segmentation

実験結果

リサーチクエスチョン

• RQ1 専用ハードウェアを用いず、1つのハードウェアアーキテクチャがCNNにおける畳み込みと逆畳み込み処理の両方を効率的にサポートできるか。
• RQ2 オフチップ帯域幅と中間保存領域を削減するために、逆畳み込み処理におけるメモリアクセスパターンをどのように最適化できるか。
• RQ3 畳み込みと逆畳み込みの間でオンチップリソースを共有することで、どのような性能向上とリソース効率の向上が達成できるか。
• RQ4 逆畳み込み処理が多数を占めるネットワークにおいて、既存のFPGAアクセラレータと比較して、本統合設計はスループットとレイテンシの点でどのように優れているか。
• RQ5 プロセス要素アレイの数を増やすことで、性能を向上させるために、このアーキテクチャはどの程度スケーラブルか。

主な発見

• 提案された統合アーキテクチャは、Xilinx ZC706 FPGA上で畳み込み処理で151.5 GOPS、逆畳み込み処理で94.3 GOPSを達成し、既存のFPGAベースのCNNアクセラレータの大多数を上回っている。
• 逆畳み込み処理は、中間部分和を保存せず、1ステップで完了するため、メモリ負荷とレイテンシが低減されている。
• ZC706 FPGA上ではLUTの8%、レジスタの6%、ブロックメモリ（BRAM）の99%、DSPの64%しか使用していないため、高いリソース効率が実現されている。
• システムコントローラのFSMにより、データフローと処理モードの動的設定が可能であり、実行時再構成をサポートしている。
• バッファリングとデータフローの最適化のおかげで、逆畳み込み処理時間は畳み込み＋マックスプーリング＋ReLU処理と比較して約3.2%短縮されている。
• アーキテクチャはスケーラブルであり、より多くのプロセス要素アレイを追加することで、より高いデータ帯域幅に対応できる性能向上が可能である。

Figure 2: Deconvolution operation by padding and convolution