[論文レビュー] Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration

Jeng-Hau Lin, Tianwei Xing+5 more|arXiv (Cornell University)|Jul 15, 2017

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

本稿では、特徴量分解（SVD）を活用してモデルサイズと計算コストを低減する分離可能フィルタを備えたバイナリ化畳み込みニューラルネットワーク（BCNNw/SF）を提案する。バイナリ化されたフィルタをランク1近似に分解することで、メモリ使用量を17%削減し、FPGA上で31.3%高速な推論を達成するが、精度の低下は最小限に抑えられる。これにより、モバイルおよび組み込みプラットフォームにおける効率的なハードウェア加速が可能になる。

ABSTRACT

State-of-the-art convolutional neural networks are enormously costly in both compute and memory, demanding massively parallel GPUs for execution. Such networks strain the computational capabilities and energy available to embedded and mobile processing platforms, restricting their use in many important applications. In this paper, we push the boundaries of hardware-effective CNN design by proposing BCNN with Separable Filters (BCNNw/SF), which applies Singular Value Decomposition (SVD) on BCNN kernels to further reduce computational and storage complexity. To enable its implementation, we provide a closed form of the gradient over SVD to calculate the exact gradient with respect to every binarized weight in backward propagation. We verify BCNNw/SF on the MNIST, CIFAR-10, and SVHN datasets, and implement an accelerator for CIFAR-10 on FPGA hardware. Our BCNNw/SF accelerator realizes memory savings of 17% and execution time reduction of 31.3% compared to BCNN with only minor accuracy sacrifices.

研究の動機と目的

• リソース制限のある組み込みおよびIoTシステムにおけるバイナリ化畳み込みニューラルネットワーク（BCNN）の高いメモリおよび計算コストを解消すること。
• 顕著な精度低下を伴わずにBCNNのモデルサイズとMAC演算回数を削減すること。
• 特異値分解（SVD）を用いたフィルタ分解により、BCNNの効率的なハードウェア加速を実現すること。
• バイナリ化されたフィルタを通過するバックプロパゲーションを可能にする微分可能トレーニング手法を提案すること。
• BCNNw/SFのFPGAベースのアクセラレータを実装・評価し、実世界での性能向上を実証すること。

提案手法

• バイナリ化された2次元畳み込みフィルタに特異値分解（SVD）を適用し、2つの1次元ベクトルの外積として近似する。
• 各バイナリフィルタをランク1のSVD近似により2つの1次元バイナリベクトルに分解し、ユニークなフィルタ数を $2^{d^2}$ から $2^{2d-1}$ に削減する。
• 32個のユニークな $3\times3$ 分離可能バイナリフィルタを5ビットのルックアップテーブルで符号化し、1フィルタあたりの重み保存領域を9ビットから5ビットに削減する。
• 2次元畳み込みを縦方向および横方向の2段階の1次元畳み込みに置き換え、出力ピクセル1つあたりのMAC演算回数を9回から6回に削減する。
• 2つのトレーニング手法を提案する：(1) 拡張ストレートスラッシング推定（eSTE）はバッチ正則化を用いてSVD由来のノイズを吸収し、より高速で簡素なトレーニングを可能にする。また、(2) SVDを介した勾配は閉形式の勾配を用い、バイナリフィルタを通過するバックプロパゲーションを実現する。
• Xilinx SDSoCを用いてC++でアクセラレータを実装し、ZedBoard FPGAをターゲットに、オンチップRAMを重みと特徴マップに使用し、効率性を高めるためにXORベースのMACを採用する。

実験結果

リサーチクエスチョン

• RQ1 SVDに基づく分離可能フィルタは、精度を損なわずにバイナリ化CNNのメモリ容量と計算複雑性を低減できるか？
• RQ2 フィルタがバイナリ化された場合、SVD分解を通過する勾配をどのようにバックプロパゲートするか？
• RQ3 提案手法は、BCNNのハードウェア加速において顕著な高速化とメモリ節約を達成できるか？
• RQ4 eSTEとSVDを介した勾配の2つのトレーニング手法は、精度およびトレーニング安定性の観点でどのように比較できるか？
• RQ5 BCNNw/SFのFPGAベースアクセラレータは、標準BCNNに比べて遅延およびリソース利用効率においてどの程度優れているか？

主な発見

• BCNNw/SFは、FPGA上でのブロックRAM使用量を標準BCNNと比較して17.0%削減した。これは主に5ビット符号化によるフィルタ表現の圧縮に起因する。
• アクセラレータ実装では、CIFAR-10の推論において実行時間に31.3%の短縮（1.46倍の高速化）を達成した。これは、より小さな重み保存領域に起因するメモリアクセスの削減によるものである。
• 5ビットから6ビットへのフィルタマッピング用デコーダ回路の追加により、LUT数はわずかに3.2%増加したが、その他のリソース（FF、DSP）はほぼ変化がなかった。
• eSTE手法はバッチ正則化を活用してSVD由来のノイズを吸収するため、より高速で簡素なトレーニングを可能にする。一方、勾配過剰SVD手法は滑らかな学習を実現し、潜在的に高い精度を達成する可能性がある。
• MNIST、CIFAR-10、SVHNの各データセットで準最先端の精度を維持しており、わずかな低下に留まっている。これにより、本手法の有効性が裏付けられた。
• FPGA実装により、BCNNw/SFが低消費電力の組み込みプラットフォームでリアルタイム推論に適していることが実証され、最小限のハードウェアオーバーヘッドで顕著な性能向上が得られた。