[論文レビュー] Full deep neural network training on a pruned weight budget

Maximilian Golub, Guy Lemieux+1 more|arXiv (Cornell University)|Jun 11, 2018

Advanced Neural Network Applications参考文献 52被引用数 10

ひとこと要約

この論文は、バックプロパゲーション中に勾配に最も関連する重みのみを動的に追跡し、未追跡の重みを実行時によみがえらせることで、メモリアクセスを著しく削減するトレーニング時プルーニング手法であるDropbackを紹介する。ResNet18では最大24.4倍の重み削減が可能で、精度損失は最小限であり、Densenet や WRN といった困難なアーキテクチャにおいても、再トレーニングを必要としない最新の性能を達成する。

ABSTRACT

We introduce a DNN training technique that learns only a fraction of the full parameter set without incurring an accuracy penalty. To do this, our algorithm constrains the total number of weights updated during backpropagation to those with the highest total gradients. The remaining weights are not tracked, and their initial value is regenerated at every access to avoid storing them in memory. This can dramatically reduce the number of off-chip memory accesses during both training and inference, a key component of the energy needs of DNN accelerators. By ensuring that the total weight diffusion remains close to that of baseline unpruned SGD, networks pruned using our technique are able to retain state-of-the-art accuracy across network architectures -- including networks previously identified as difficult to compress, such as Densenet and WRN. With ResNet18 on ImageNet, we observe an 11.7$ imes$ weight reduction with no accuracy loss, and up to 24.4$ imes$ with a small accuracy impact.

研究の動機と目的

• DNNトレーニング中のオフチップメモリアクセスの高コスト、特にモバイルおよび埋め込みデバイスでの課題に対処すること。
• 特に密度が高く、プルーニングが難しいネットワークに対して、トレーニングのメモリフットプリントと帯域幅を削減しながら、モデルの精度を損なわないこと。
• プルーニング後に再トレーニングを必要としないように、プルーニングをトレーニングプロセスに直接統合すること。
• 恒久的な重み保存を最小限に抑えることで、より大きなモデルのトレーニングや、低容量のハードウェア上での再トレーニングを可能にすること。

提案手法

• Dropbackは、バックプロパゲーション中に勾配の蓄積量が最も高い重みのみを選別・追跡し、残りの重みをメモリからプルーニングする。
• 未追跡の重みは、初期値を用いて実行時によみがえらせるため、恒久的ストレージやオフチップメモリアクセスを回避する。
• アルゴリズムはすべての重みを初期化するが、トレーニングステップ全体で総勾配の大きさが最大の重みのみを更新する。
• 高勾配の重みが学習ダイナミクスを支配することを活用し、重みの拡散が完全なSGDに近い状態を維持することを保証する。
• バッチ正規化やパラメトリックReLU層と互換性があり、これらは通常プルーニングの対象外とされる。
• 完全にトレーニング中に動作し、プルーニング後の再トレーニングを回避する。また、量子化や圧縮技術とは直交しており、併用可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に重みをプルーニングすることで、DNNトレーニングのメモリフットプリントを削減できるか、精度損失を伴わないか？
• RQ2 高勾配の重みのみをプルーニングした場合、完全なSGDと比較して重みの拡散とモデル収束にどのような影響を与えるか？
• RQ3 Densenet や WRN といった密度の高いアーキテクチャにおいて、Dropbackは、トレーニング後処理のプルーニング手法よりも優れた圧縮率と精度を達成できるか？
• RQ4 低消費電力のトレーニング環境において、Dropbackはオフチップメモリアクセスとエネルギー消費をどの程度削減できるか？
• RQ5 バッチ正規化やPReLuのような、通常プルーニングの対象とならないレイヤーに対しても、この技術を適用できるか？

主な発見

• ImageNetを用いたResNet18では、11.7倍の重み削減が可能で、精度に影響なし。最大24.4倍の削減でもわずかな精度損失にとどまる。
• Densenetでは、4.5倍の重み削減で5.86％の検証誤差を達成し、先行手法（5.65％／2.9倍）を上回る。
• WRN-28-10では、3.85–4.20％の誤差を達成し、4.5倍～7.3倍の重み削減が可能で、最良の先行プルーニング結果（16.6％誤差／4倍削減）を上回る。
• Dropbackは完全なSGDに近い重みの拡散プロファイルを維持し、プルーニング後の再トレーニングなしに高い精度を実現する。
• 未追跡の重みのストレージを回避することで、メモリアクセスコストを削減し、低容量デバイス上でのトレーニングを可能にする。
• Dropbackは量子化や圧縮技術と直交しており、これらと組み合わせることでさらなるメモリ削減が可能である。