[論文レビュー] Accelerating CNN Training by Pruning Activation Gradients

Xucheng Ye, Pengcheng Dai+5 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Neural Network Applications参考文献 33被引用数 8

ひとこと要約

本稿では、誤反転伝搬中の活性化勾配を疎行列として pruning することにより、CNN の学習を高速化する動的勾配 pruning 法を提案する。勾配を正規分布としてモデル化し、分散に基づく閾値以下の部分に対して確率的 pruning を適用することで、CIFAR-10/100 および ImageNet における ResNet や AlexNet において、精度損失をほとんど認めないまま ARM CPU で最大 5.92× の高速化を達成した。

ABSTRACT

Sparsification is an efficient approach to accelerate CNN inference, but it is challenging to take advantage of sparsity in training procedure because the involved gradients are dynamically changed. Actually, an important observation shows that most of the activation gradients in back-propagation are very close to zero and only have a tiny impact on weight-updating. Hence, we consider pruning these very small gradients randomly to accelerate CNN training according to the statistical distribution of activation gradients. Meanwhile, we theoretically analyze the impact of pruning algorithm on the convergence. The proposed approach is evaluated on AlexNet and ResNet-\{18, 34, 50, 101, 152\} with CIFAR-\{10, 100\} and ImageNet datasets. Experimental results show that our training approach could substantially achieve up to $5.92 imes$ speedups at back-propagation stage with negligible accuracy loss.

研究の動機と目的

• 誤反転伝搬中の活性化勾配のスパarsity を活用することで、深層 CNN の学習時間を短縮すること。
• 学習中に変化し続ける動的勾配更新がスパarsity 利用を阻害するという課題に対処すること。
• CPU やエッジデバイスなどのリソース制限されたプラットフォームでも効率的な学習を可能にすること。
• バックプロパゲーションの高速化を著しく実現しつつ、モデルの収束性と精度を維持すること。

提案手法

• 活性化勾配が正規分布に従うと仮定し、平均絶対値から分散を推定する。
• 分散とユーザーが定義したスパarsity 比 p に基づき、pruning 閾値 τ を導出する。
• 確率的 pruning を適用：τ 未満の勾配をランダムに 0 または ±τ に設定することで、勾配の流れを維持する。
• Conv-ReLU および Conv-BN-ReLU の両方のネットワークアーキテクチャ（ResNet や AlexNet を含む）をサポートする。
• 統計的分析を通じて、pruning による収束安定性の妥当性を裏付ける。
• 評価のため、Intel および ARM CPU 上で BLAS 最適化キーネルを用いて実装した。

実験結果

リサーチクエスチョン

• RQ1 CNN の誤反転伝搬中に、活性化勾配を効果的に pruning しても、モデルの収束性や精度に悪影響を及げないか？
• RQ2 動的変化する勾配を効果的に pruning するための、データ駆動的で統計的根拠を持つ閾値をどのように導出できるか？
• RQ3 小さな勾配に対する確率的 pruning は、ResNet や AlexNet などの深層ネットワークにおける最適化軌道を保持できるか？
• RQ4 ARM ベースのエッジデバイスなどの低消費電力プラットフォームで、どの程度の高速化が達成可能か？
• RQ5 大規模データセットにおけるスパarsity、精度、および加速性能の観点から、先行研究と比較して本手法はどのように優れているか？

主な発見

• 本手法は、AlexNet の学習において ARM CPU で最大 5.92× の高速化を達成し、精度損失はほとんど認めない。
• Intel CPU では、ResNet および AlexNet モデルで 1.71× から 3.99× の高速化を達成した。
• 収束安定性が維持され、CIFAR-10 および ImageNet データセットにおいて、学習損失曲線にほとんど影響を及えない。
• ResNet-18 では 99% の pruning を実行した際、70–90% のスパarsity（ρnnz ≈ 0.16）を達成し、MSBP よりもスパarsity と精度の両面で優れた性能を示した。
• Conv-ReLU および Conv-BN-ReLU ブロックの両方のネットワークアーキテクチャにわたり、堅牢に機能することが確認された。
• シングルスレッドおよびマルチスレッド実行においても高速化が一貫しており、4スレッド ARM 実行では 1.79× から 2.78× の高速化が得られた。