[論文レビュー] Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets

Patrick Judd, Jorge Albericio+5 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Neural Network Applications参考文献 23被引用数 84

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の各層に対して動的に異なるビット幅を割り当てる、レイヤー単位の低精度戦略を提案している。この戦略により、分類精度を32ビット浮動小数点モデルと1%以内に保ったまま、メモリ使用量を顕著に削減できる。5つのCNNアーキテクチャを分析した結果、混合精度設定によりデータ保存領域を最大92%まで削減でき、平均で74%の削減が達成された。精度損失は最小限であり、メモリ効率と性能の両面で顕著な向上が得られた。

ABSTRACT

This work investigates how using reduced precision data in Convolutional Neural Networks (CNNs) affects network accuracy during classification. More specifically, this study considers networks where each layer may use different precision data. Our key result is the observation that the tolerance of CNNs to reduced precision data not only varies across networks, a well established observation, but also within networks. Tuning precision per layer is appealing as it could enable energy and performance improvements. In this paper we study how error tolerance across layers varies and propose a method for finding a low precision configuration for a network while maintaining high accuracy. A diverse set of CNNs is analyzed showing that compared to a conventional implementation using a 32-bit floating-point representation for all layers, and with less than 1% loss in relative accuracy, the data footprint required by these networks can be reduced by an average of 74% and up to 92%.

研究の動機と目的

• 異なるCNNアーキテクチャ間、および個々のネットワーク内でのレイヤー単位での精度要件の変動を調査すること。
• 分類精度を高く保ちつつメモリ使用量を最小限に抑える、各レイヤーごとの最適な混合精度設定を選択する手法を開発すること。
• 深層学習推論におけるレイヤー単位の精度割り当てが、メモリトラフィックとデータ帯域幅に与える影響を評価すること。
• 動的なレイヤー単位の精度割り当てが、一様な低精度戦略に比べて、メモリ効率と性能において顕著に優れていることを示すこと。
• 将来的な低精度ディープラーニングアクセラレータのハードウェア・ソフトウェア共同設計の基盤を提供すること。

提案手法

• 著者らは、Caffe深層学習フレームワークを用いて、LeNet、ConvNet、AlexNet、NiN、GoogLeNetの5つの代表的なCNNを訓練および評価した。
• 重みと活性化のビット幅を個別に段階的に低くすることで、各レイヤーの誤差耐性を分析し、さまざまな精度レベルにおける精度の低下を測定した。
• 混合精度設定は、32ビット浮動小数点ベースラインと比較して1%以内の精度損失を制約として、最小限のメモリトラフィックを達成するように最適化された。
• 固定小数点表現を用い、整数部と小数部のビット数を別々に扱い、各レイヤーにおける精度とメモリ帯域幅のトレードオフを評価した。
• トラフィック削減は32ビットベースラインに対する比として定量化され、誤差耐性1%、2%、5%、10%の条件で結果が報告された。
• 多様なネットワークアーキテクチャにわたって検証された結果、精度要件はネットワーク間およびネットワーク内でも顕著に異なることが示された。

実験結果

リサーチクエスチョン

• RQ1 同じネットワーク内において、CNNの低精度耐性は各レイヤーでどのように変動するか？
• RQ2 一様な低精度表現に比べて、レイヤー単位の精度割り当てが、高い精度を維持しながらより大きなメモリ節約を達成できるか？
• RQ3 あるCNNに対して、メモリ使用量を最小限に抑えつつ精度損失を最小限に抑える最適な混合精度設定は何か？
• RQ4 異なるCNNアーキテクチャ間で必要な精度はどのように変化するか？また、この傾向はネットワークの複雑さと相関しているか？
• RQ5 1%の精度耐性を満たす条件下で、層固有の精度を用いることで、中間活性化のメモリ削減は最大どれほど達成できるか？

主な発見

• 5つのCNNアーキテクチャにおける中間活性化の平均メモリ使用量は、32ビット浮動小数点と比較して1%未満の精度損失で74%削減可能である。
• 最良のケースでは、一部のレイヤーは2ビットの精度で十分であり、レイヤーごとの精度要件の極めて大きなばらつきを示している。
• 最大で92%のメモリ削減が達成されたが、1%の精度耐性を満たす最悪ケースでも74%の削減が可能であった。
• 16ビット固定小数点ベースラインと比較して、本手法は平均で51%のメモリ削減を達成しており、レイヤー単位の最適化の利点が顕著に表れている。
• 本手法により、より新しい・より複雑なネットワークは一般的に高い精度を要することが判明し、アーキテクチャの複雑さが増すにつれて精度要件も上昇する傾向があることが示された。
• 精度をレイヤー単位で最適化することで、トラフィック削減が最も効果的であり、最適な設定では1%～10%の誤差耐性範囲で最大76%のデータトラフィック削減が達成された。