[論文レビュー] Applying the Residue Number System to Network Inference

Mohamed R. Abdelhamid, Skanda Koppula|arXiv (Cornell University)|Dec 13, 2017

Cryptography and Residue Arithmetic参考文献 4被引用数 10

ひとこと要約

本稿では、神経ネットワークの推論を高速化するために、標準的な算術演算の代わりにRNS（剰余数システム）に基づく乗算と加算を用いる手法を提案している。これにより、マルチプライヤーで最大48％のエネルギー消費削減が達成され、低消費電力ハードウェア上でもエネルギー効率の高い推論が可能になる。このアプローチは、RNSの並列性と効率的なモジュラ算術を活用しており、実験結果から6ビット整数制約下でも実用的な精度が得られ、全結合層においてエネルギー節約のブレーキーポイントが有利に位置することが示された。

ABSTRACT

This work explores the lesser studied objective of optimizing the multiply-and-accumulates executed during evaluation of the network. In particular, we propose using the Residue Number System (RNS) as the internal number representation across all layer evaluations, allowing us to explore usage of the more power-efficient RNS multipliers and adders. Using results from simulation of our RNS arithmetic block implementations, we show theoretical power advantages of using RNS for an end-to-end evaluator.

研究の動機と目的

• 神経ネットワーク推論の高速化を目的とし、特にエネルギー効率を向上させるために、RNSを代替的な数値表現として用いる可能性を検討すること。
• CNN推論における主要なボトル neck である乗算と積算（MAC）演算のエネルギーおよび面積オーバーヘッドを削減するため、標準の32ビット算術をRNSベースの計算に置き換えること。
• RNS制約下でもネットワークの精度を維持できるかを評価するため、モジュラス範囲内に固定小数点の重みと活性化値を制限してネットワークを学習すること。
• RNSベースの推論が従来の推論よりもエネルギー効率的になるブレーキーポイントを特定すること、特に全結合層および畳み込み層において検証すること。
• 65nm CMOSプロセスを用いて、Verilogで実装・評価されたRNS固有のハードウェアブロック（加算器、乗算器、ReLU、比較器モジュール）の電力、面積、遅延を評価すること。

提案手法

• 整数をRNSで表現するために、4つのモジュラス集合 {2^7−1, 2^7+1, 2^8−1, 2^8+1} を使用し、32ビットのストレージで28ビット相当の範囲をカバーする。各モジュラスは互いに素であるため、一意な表現が保証される。
• RNS算術は要素ごとに実行される：加算と乗算は個々のモジュラスごとに計算され、最適化されたRNS加算器および乗算器アーキテクチャを用いることで、並列かつ低消費電力な計算が可能になる。
• ReLU非線形性をサポートするため、RNS差のパリティチェックに基づく比較モジュールを実装し、論理回路の複雑さを低減するための簡略化された「半比較器」をM/2のしきい値で使用する。
• ReLUおよび比較器モジュールは、既存のRNS比較技術の修正版を用いて組み合わせ論理回路として実装され、効率性を高めるために事前計算されたパリティ値が使用される。
• ハードウェアブロック（加算器、乗算器、変換器、ReLU、比較器）はBluespec/SystemVerilogで設計され、65nm CMOSプロセスを用いて合成され、電力、面積、遅延の推定値が得られた。
• SVHNデータセット上で6層のCNN/FCネットワークを6ビット整数重みと活性化値で学習し、RNS制約下での精度を、フル精度および32ビット整数ベースラインと比較して、完全なネットワーク推論パイプラインをシミュレートした。

実験結果

リサーチクエスチョン

• RQ1 RNSベースの算術演算は、神経ネットワーク推論におけるエネルギー消費を削減できるか、特に乗算と積算（MAC）ユニットにおいて？
• RQ2 RNS表現に適したモジュラス範囲内に重みと活性化値を固定小数点整数に制限した場合、精度の低下はどの程度発生するか？
• RQ3 RNSベースのMACユニットによるエネルギー節約が、RNS固有のReLUおよび比較器のオーバーヘッドを上回るようになるのは、どの程度のレイヤーサイズまたはネットワーク構成か？
• RQ4 標準的なCMOSプロセスにおけるRNSハードウェアブロックの電力、面積、遅延は、32ビット同等のものと比べてどのように異なるか？
• RQ5 標準バイナリへの変換なしに、RNS算術のみを用いてエンドツーエンドの推論（活性化関数および出力選択を含む）を実行することは可能か？

主な発見

• RNS乗算器は1.56 mWの消費電力で動作し、32ビット乗算器（3.04 mW）と比較して48.7％の低消費電力である。95.4 psの正のスラックを有しており、より高いクロック周波数での動作が可能である。
• RNS加算器は1.18 mWの消費電力で、32ビット加算器（1.05 mW）と比べてわずかに高いが、同じ周波数で動作し、タイミングマージンが向上している。
• SVHNデータセットにおいて、RNS制約を適用した(6,6)-FPネットワークはテスト誤差6.69％を達成し、(32,32)-FPベースライン（3.95％）と比較して2.74％の精度低下を示した。これは、RNS制約下での中程度の精度低下を示している。
• (6,6)-INTネットワークはテスト誤差7.07％を示し、(32,32)-INTベースライン（4.54％）と比較して2.53％の精度低下を示した。これは、整数量子化が追加の学習不安定性を引き起こす可能性があることを示唆している。
• ブレーキーポイント分析から、RNSベースの推論は、小さな全結合レイヤーに対してもエネルギー効率的であることが示された。入力サイズX > 0.98のとき、RNS MACのエネルギー節約がReLUのオーバーヘッドを上回る。
• エネルギー節約効果はレイヤー種別に対して頑健であり、畳み込み層においても、Xをフィルタ出力サイズ（C_in × K_X × K_Y）に置き換えることで、同じブレーキーポイント条件が適用可能である。