[論文レビュー] WRPN: Training and Inference using Wide Reduced-Precision Networks

Asit Mishra, Jeffrey Cook+2 more|arXiv (Cornell University)|Apr 10, 2017

Advanced Neural Network Applications参考文献 5被引用数 7

ひとこと要約

WRPNは、ネットワーク層を拡張することで、活性化および重みの精度を低くしつつ、正確性を維持または向上させる、新しいトレーニングおよび推論フレームワークを導入する。活性化および重みを低ビット幅（例：4b や 2b）に量子化し、フィルターマップを倍増させることで、フルプレシジョンの正確性を達成しながら、計算量、メモリ、エネルギー消費を著しく削減する。この手法は、AlexNet および ResNet において、フルプレシジョンモデルの計算コストの14–15%にまで低減することを実証した。

ABSTRACT

For computer vision applications, prior works have shown the efficacy of reducing the numeric precision of model parameters (network weights) in deep neural networks but also that reducing the precision of activations hurts model accuracy much more than reducing the precision of model parameters. We study schemes to train networks from scratch using reduced-precision activations without hurting the model accuracy. We reduce the precision of activation maps (along with model parameters) using a novel quantization scheme and increase the number of filter maps in a layer, and find that this scheme compensates or surpasses the accuracy of the baseline full-precision network. As a result, one can significantly reduce the dynamic memory footprint, memory bandwidth, computational energy and speed up the training and inference process with appropriate hardware support. We call our scheme WRPN - wide reduced-precision networks. We report results using our proposed schemes and show that our results are better than previously reported accuracies on ILSVRC-12 dataset while being computationally less expensive compared to previously reported reduced-precision networks.

研究の動機と目的

• リアルタイムロボット工学および埋め込みビジョン応用におけるディープニューラルネットワークの高いメモリおよび計算コストを軽減すること。
• 従来の研究が重みの量子化に焦点を当てていたのとは対照的に、活性化および重みの両方の精度を低下させてもモデルの正確性を損なわないようにすること。
• 低精度の活性化による正確性の低下を補うために、フィルターマップの幅を増やすことで、その効果が得られるかどうかを検証すること。
• 埋め込みおよびリアルタイムシステムへの効率的なデプロイメントに適した、ハードウェアフレンドリーな量子化スキームを設計すること。
• 低精度ネットワークが計算コストを低く抑えながら、フルプレシジョンのベースラインを上回る正確性を達成できるかどうかを示すこと。

提案手法

• 活性化値を範囲 [0,1] のkビット固定小数点表現に量子化し、式 $ \frac{round((2^k - 1) \cdot A)}{2^k - 1} $ を使用する。
• 重み値を範囲 {-1,+1} のkビット固定小数点に量子化し、$ \frac{round((2^{k-1} - 1) \cdot W)}{2^{k-1} - 1} $ を使用する。この際、符号用に1ビットを予約する。
• 各層のフィルターマップ数を2倍に増加させることで、精度の低下を補い、モデル容量を維持または向上させる。
• スケーリングに浮動小数点定数を用いて勾配の流れを保持するように、ミックスプレシジョン量子化テンソルを用いてエンドツーエンドのトレーニングをスクラッチから実行する。
• アフィン変換を用いてフルプレシジョンテンソルを量子化表現にマッピングし、ハードウェアへの効率的マッピングを可能にする。
• ILSVRC-12データセット上で、AlexNet や ResNet-34 といった標準モデルにこのスキームを適用し、正確性と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルの深さや幅を増加させずに、32ビット未満の活性化精度に低下させても、モデル正確性を維持または向上させられるか？
• RQ2 層内のフィルターマップ数を増やすことで、低精度の活性化による正確性の低下を効果的に補えるか？
• RQ3 重みおよび活性化の両方に対してハードウェアフレンドリーな量子化スキームを設計することで、埋め込みおよびリアルタイムシステムへの効率的デプロイメントが可能になるか？
• RQ4 WRPNアプローチは、計算およびメモリコストを低く抑えながら、フルプレシジョンベースラインを上回る正確性を達成できるか？
• RQ5 正確性を高く保ちつつ、計算オーバーヘッドを低く抑えるために、精度の低下とフィルターマップの拡張の最適なトレードオフは何か？

主な発見

• 4ビット重みと2ビット活性化を組み合わせ、フィルターマップを2倍にしたAlexNetは、トップ1正確性58.6%を達成した。これは、フルプレシジョンベースライン（57.2%）と同等であり、4ビット活性化を使用した場合にそれを上回った。
• 4ビット重みと4ビット活性化を組み合わせたWRPN版AlexNetは、トップ1正確性58.6%を達成した。これは、フルプレシジョンベースラインよりも1.44%高い。
• 4ビット/4ビットWRPN AlexNetバージョンは、原始的なFMA演算が3.9倍に増加したにもかかわらず、フルプレシジョンベースラインの総計算コストの14%にまで低減された。
• 4ビット重みと8ビット活性化、および2倍のフィルターマップを備えたResNet-34は、トップ1正確性73.8%を達成した。これは、フルプレシジョンベースラインの73.2%を上回った。
• 低精度化されたResNet-34バージョンは、総計算コストがフルプレシジョンモデルの15.1%にまで低減され、顕著な効率性の向上が示された。
• 提案された量子化スキームはハードウェアフレンドリーであり、固定小数点演算とスケーラブルなスケーリング演算を用いることで、埋め込みおよびリアルタイムシステムへの効率的実装が可能である。