[論文レビュー] Precision Highway for Ultra Low-Precision Quantization

Eunhyeok Park, Dongyoung Kim+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Neural Network Applications参考文献 24被引用数 10

ひとこと要約

本稿では、積算誤差を低減するためのエンドツーエンドの高精度情報伝達を確立することで、超低精度量子化（2–3ビット）を可能にするネットワークレベルアーキテクチャ「Precision Highway」を提案する。この手法は、残差接続および再帰的ネットワークを通じて完全精度の活性化パスを維持し、3ビットのResNet-50で精度損失なし、2ビット量子化でもトップ1精度が2.45%低下に抑えられ、最先端のアクセラレータ上でほとんど無視できるハードウェアオーバーヘッドを発生させる。

ABSTRACT

Neural network quantization has an inherent problem called accumulated quantization error, which is the key obstacle towards ultra-low precision, e.g., 2- or 3-bit precision. To resolve this problem, we propose precision highway, which forms an end-to-end high-precision information flow while performing the ultra low-precision computation. First, we describe how the precision highway reduce the accumulated quantization error in both convolutional and recurrent neural networks. We also provide the quantitative analysis of the benefit of precision highway and evaluate the overhead on the state-of-the-art hardware accelerator. In the experiments, our proposed method outperforms the best existing quantization methods while offering 3-bit weight/activation quantization with no accuracy loss and 2-bit quantization with a 2.45 % top-1 accuracy loss in ResNet-50. We also report that the proposed method significantly outperforms the existing method in the 2-bit quantization of an LSTM for language modeling.

研究の動機と目的

• 超低精度ニューラルネットワーク推論における積算誤差の蓄積問題に取り組むこと、特に2–3ビットでの精度損失を低減すること。
• 低精度計算における層間での誤差蓄積が引き起こす深層ネットワークの精度低下を軽減すること。
• 前向き伝播（畳み込み）および再帰的アーキテクチャの両方に適用可能な汎用的でネットワークレベルのソリューションを設計すること。
• 現代のアクセラレータ上で提案手法のハードウェア効率を評価し、エネルギーおよび面積オーバーヘッドを最小限に抑えること。

提案手法

• 入力から出力まで高精度の活性化伝達を維持する精度ハイウェイパスを導入し、低精度計算を回避する。
• プレアクティベーションおよびポストアクティベーションの残差ネットワーク、およびLSTMのような再帰的ネットワークに精度ハイウェイを適用する。
• スイープ接続および専用の高精度演算を用いて高精度情報を保持し、誤差蓄積を最小限に抑える。
• ハイウェイパスでのみ要素ごとの乗算および加算演算を高精度（32ビット）で実行し、メイン計算パスは超低精度（2–3ビット）で処理する。
• アーキテクチャの大幅な見直しを伴わず、既存のネットワークアーキテクチャにスムーズに統合する。
• 画像分類と言語モデリングの両方のタスクにおいて、ResNet-18/50およびLSTMに対して評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの高精度情報伝達は、超低精度ネットワークにおける積算誤差の蓄積を効果的に低減できるか？
• RQ2 2–3ビット量子化において、精度ハイウェイ手法は既存の量子化技術と比較して、精度およびハードウェア効率の点で優れているか？
• RQ3 精度ハイウェイは低精度環境下での学習安定性および収束性をどの程度向上させるか？
• RQ4 この手法は、ポストアクティベーションCNNやRNNを含む、さまざまなネットワークタイプに一般化可能か？
• RQ5 現代のアクセラレータにおいて、高精度パスを維持する際の実際のハードウェアコスト（面積およびエネルギー）はどの程度か？

主な発見

• Precision Highwayにより、ResNet-50における3ビットの重みおよび活性化量子化が実現され、精度損失なしに78.45%のトップ1精度を達成した。
• ResNet-50の2ビット量子化では、75.54%のトップ1精度を達成し、完全精度との差が2.45%にとどまり、既存手法と比較して顕著に優れた性能を示した。
• LSTM言語モデリングにおいて、2ビット量子化でパープレキシティを14.1%低減（133.25から114.44に）、先行研究を上回った。
• ハードウェア評価では、2ビット精度ハイウェイの追加エネルギー消費は3.9%にとどまり、16ビットから3ビットへの変換で73.1%のエネルギー削減が達成された。
• 高精度演算の数は極めて少ない—例として、2ビットLSTMでは800回の低精度乗算に対して1回の32ビット要素演算にとどまる—これによりオーバーヘッドは無視できるほど小さい。
• 先行の最先端手法と比較して、本手法はより優れた結果を達成した。特に2ビットLSTM量子化では、パープレキシティの上昇が23.3%（対象が39.4%）に抑えられ、優れたロバスト性を示した。