[論文レビュー] LUTNet: Learning FPGA Configurations for Highly Efficient Neural Network Inference

Erwei Wang, James J. Davis+2 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

LUTNet は、FPGA の LUT を二値化ニューラルネットワーク (BNN) の推論演算子として再定義するエンド・ツー・エンドのハードウェア・ソフトウェアフレームワークを提案する。XNOR ゲートに依存する従来の BNN とは異なり、LUT を非線形ブール関数を実装可能な可変構成演算子として活用することで、高い効率性を実現する。非線形ブール関数の柔軟性を活かし、積極的なプルーニングを可能にした LUTNet は、FPGA 上の最先端の BNN よりも最大 2 倍の面積効率、最大 6.66 倍のエネルギー効率を達成する。

ABSTRACT

Research has shown that deep neural networks contain significant redundancy, and thus that high classification accuracy can be achieved even when weights and activations are quantized down to binary values. Network binarization on FPGAs greatly increases area efficiency by replacing resource-hungry multipliers with lightweight XNOR gates. However, an FPGA's fundamental building block, the K-LUT, is capable of implementing far more than an XNOR: it can perform any K-input Boolean operation. Inspired by this observation, we propose LUTNet, an end-to-end hardware-software framework for the construction of area-efficient FPGA-based neural network accelerators using the native LUTs as inference operators. We describe the realization of both unrolled and tiled LUTNet architectures, with the latter facilitating smaller, less power-hungry deployment over the former while sacrificing area and energy efficiency along with throughput. For both varieties, we demonstrate that the exploitation of LUT flexibility allows for far heavier pruning than possible in prior works, resulting in significant area savings while achieving comparable accuracy. Against the state-of-the-art binarized neural network implementation, we achieve up to twice the area efficiency for several standard network models when inferencing popular datasets. We also demonstrate that even greater energy efficiency improvements are obtainable.

研究の動機と目的

• FPGA 上の伝統的な二値化ニューラルネットワーク (BNN) の非効率性に取り組む。BNN は LUT がより複雑な論理を実装可能であるにもかかわらず、XNOR ゲートに依存している。
• BNN が線形的なドット積近似に制限され、FPGA の LUT を十分に活用できないという限界を克服する。
• K-LUT をベースにした可変構成演算子をコア演算ユニットとして再定義することで、FPGA 上での高効率な DNN 推論を実現する。
• LUT の構成を学習可能とするトレーニングフレームワークを開発し、高精度を維持したまま極端なプルーニングを可能にする。
• 非線形 LUT を用いた演算子が、FPGA 上で線形 XNOR に基づく BNN よりも面積およびエネルギー効率において優れていることを実証する。

提案手法

• K ビット入力に対して任意のブール関数を計算できる K-LUT を用いた推論演算子に、標準的な BNN 操作 (XNOR + popcount) を置き換える。
• LUT マスク (関数構成) とネットワーク重みを同時に学習するエンド・ツー・エンドのトレーニングパイプラインを設計し、LUT が非線形推論ユニットとして機能できるようにする。
• 2 種類のアーキテクチャを導入する：アンロールド LUTNet (高スループット、高面積効率) とタイル化 LUTNet (小型面積、低消費電力、オンチップ RAM を用いたパラメータ保存)。
• 事前置換プルーニングを適用し、LUT の数を削減 (˜N ≪ N) する。使用されない入力を省略し、LUT を必要な演算のみを実行するように構成する。
• LUT 構成をバックプロパゲーション可能にする微分可能トレーニング方式を採用し、勾配降下法で関数選択とネットワーク重みの両方を最適化可能にする。
• FPGA 向け最適化ロジックを用いて両アーキテクチャを実装する。アンロールド LUTNet は LUT とアダッターのみを用い、タイル化 LUTNet はパラメータをブロック RAM にオフロードすることで LUT 使用量を削減し、面積効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 FPGA の LUT を、BNN で一般的に使用される XNOR 操作に限定せず、非線形推論演算子として効果的に再利用できるか？
• RQ2 柔軟な LUT を用いた場合、分類精度を損なわずにどれほど積極的なプルーニングを適用できるか？
• RQ3 FPGA 上で非線形ブール関数を LUT に実装する方法と、線形 XNOR 操作を比較した場合、面積およびエネルギー効率においてどの程度優れるか？
• RQ4 アンロールド型とタイル化型 LUTNet のアーキテクチャには、面積、消費電力、スループット、精度の面でどのようなトレードオフがあるか？
• RQ5 FPGA 部署に適した LUT 機能構成とネットワーク重みを同時に最適化できる微分可能トレーニングフレームワークを設計できるか？

主な発見

• LUTNet は、複数の標準 DNN モデルおよびデータセットにおいて、最先端の BNN 実装と比較して最大 2 倍の面積効率を達成する。
• 先行する BNN の研究と比較して、LUT 使用量の削減と効率的な論理利用のおかげで、最大 6.66 倍のエネルギー効率向上を実証した。
• 8×8 タイル化かつ 64.6% プルーニング (5,1)-LUTNet CNV デザインは、アンロールドかつ 91.1% プルーニング (4,0)-LUTNet と同等の CIFAR-10 の精度を維持しながら、2.78 倍小さい面積と 1.18 倍低い消費電力である。
• アンロールド LUTNet アーキテクチャは、アンロールとプルーニングを施した最先端の BNN と比較して、平均で 1.81 倍の面積削減を達成し、精度は ±0.300 パーセンテージポイントの範囲内を維持する。
• K-LUT の柔軟性にもかかわらず、学習された関数の大部分は XNOR に類似した形をとっている。これは、現在のトレーニング初期化が最適化を馴染みのある操作に偏らせる傾向があることを示唆している。
• タイル化 LUTNet では、ReBNet と比較して 1 エポックあたりのトレーニング時間が最大 2.58 倍に増加するが、リソース使用量の大幅な削減とエネルギー効率の向上により、これを相殺できる。