[論文レビュー] A Low-Power Accelerator for Deep Neural Networks with Enlarged Near-Zero Sparsity

Yuxiang Huan, Yifan Qin+3 more|arXiv (Cornell University)|May 22, 2017

Radiation Detection and Scintillator Technologies参考文献 10被引用数 5

ひとこと要約

本稿では、近似ゼロ値のスパarsityを活用する近似ゼロ近似ユニット（NZAU）を用いて、従来のゼロ値スパarsityを越える低消費電力DNNアクセラレータを提案する。NZAUにより、小さな重みを持つ活性化値の乗算をスキップすることで、LeNet-5では1.92倍、AlexNetでは1.51倍の乗算削減を実現。精度損失は最小限に抑えられ、UMC 65nmプロセスで500 MHzで動作する際、モバイルGPUよりも717倍低いエネルギー消費量を達成し、4倍高速に動作する。

ABSTRACT

It remains a challenge to run Deep Learning in devices with stringent power budget in the Internet-of-Things. This paper presents a low-power accelerator for processing Deep Neural Networks in the embedded devices. The power reduction is realized by avoiding multiplications of near-zero valued data. The near-zero approximation and a dedicated Near-Zero Approximation Unit (NZAU) are proposed to predict and skip the near-zero multiplications under certain thresholds. Compared with skipping zero-valued computations, our design achieves 1.92X and 1.51X further reduction of the total multiplications in LeNet-5 and Alexnet respectively, with negligible lose of accuracy. In the proposed accelerator, 256 multipliers are grouped into 16 independent Processing Lanes (PL) to support up to 16 neuron activations simultaneously. With the help of data pre-processing and buffering in each PL, multipliers can be clock-gated in most of the time even the data is excessively streaming in. Designed and simulated in UMC 65 nm process, the accelerator operating at 500 MHz is $>$ 4X faster than the mobile GPU Tegra K1 in processing the fully-connected layer FC8 of Alexnet, while consuming 717X less energy.

研究の動機と目的

• IoTデバイスの電力制約下におけるDNN推論の高消費電力問題に対処すること。
• 従来のゼロ値スキップ技術を拡張し、計算的に無駄でありながら数値的に無視可能な近似ゼロ値の乗算を含める。
• 専用のNZAUを用いて近似ゼロ値を効率的に検出し、スキップするハードウェアアクセラレータを設計することで、モデル精度を損なわずエネルギー効率を向上させること。
• 256マルチプライヤー構成において、データバッファリング、クロックゲーティング、処理レーン並列処理を組み合わせることで、高スルーレートかつ低消費電力実現を図ること。

提案手法

• 近似ゼロ近似ユニット（NZAU）は、重みと活性化の積が設定可能なしきい値未満である場合に、その値を無視可能とみなして乗算を予測しスキップする。
• 近似ゼロスパarsityは、重みと活性化の積に対してしきい値ベースの近似を適用することで実現され、ゼロ値要素を超えるスパarsityの拡張が可能となる。
• アクセラレータは16個の独立した処理レーン（PLs）を備え、それぞれが16個のマルチプライヤーを内蔵しており、同時に16個のニューロン活性化を並列処理可能である。
• 各PLにおけるデータ事前処理およびバッファリングにより、マルチプライヤーが大多数のサイクルでクロックゲーティングされ、高スルーレートデータストリーム下でも動的消費電力を低減可能である。
• 被演算子バッファリングとレジスタ分離を統合することで、データ保存と計算を分離し、アイドル電力の低減を実現している。
• 近似ゼロのしきい値は可変であり、精度とエネルギー効率のトレードオフを可能にしている。

実験結果

リサーチクエスチョン

• RQ1 近似ゼロスパarsityは、ゼロ値スパarsityを越えてDNN計算を削減するために効果的に活用可能か？
• RQ2 ゼロ値のみをスキップするのではなく、近似ゼロ値を近似することで、乗算数およびエネルギー消費量にどの程度の追加削減が達成できるか？
• RQ3 精度の著しい低下を伴わず、近似ゼロ乗算を効率的に検出しスキップできるハードウェアアクセラレータは実現可能か？
• RQ4 一般向けモバイルGPUと比較して、専用のNZAUベースアクセラレータはDNN推論においてどの程度の性能およびエネルギー効率の向上を達成できるか？

主な発見

• 提案された近似ゼロ近似により、LeNet-5ではスパarsityが29.4%から63.35%に向上し、誤差率の増加は0.58%にとどまり、全乗算数が1.92倍削減された。
• AlexNetでは、近似ゼロ近似によりスパarsityが45.9%から64.1%に向上し、精度損失は無視できるほど小さく、乗算数が1.51倍削減された。
• UMC 65nmプロセスで500 MHzで動作する際、アクセラレータはモバイルGPU Tegra K1に比べ4倍高いスルーレートを達成した（AlexNetのFC8層処理時）。
• Tegra K1 GPUと比較してエネルギー消費量は717倍低減され、近似ゼロ近似を適用した際の最終消費電力は31 mWであった。
• データバッファリングとNZAUによるクロックゲーティングにより、マルチプライヤーの活動が抑制され、ゼロスキップのみに比べて18.4%の追加的電力削減が達成された。
• 16個の独立した処理レーンにおける効果的なデータバッファリングとパイプライン処理により、アクセラレータは高い利用率を維持し、スタールの発生を回避した。