[論文レビュー] Dynamic Runtime Feature Map Pruning

Tailin Liang, Lei Wang+2 more|arXiv (Cornell University)|Dec 24, 2018

Graph Theory and Algorithms参考文献 29被引用数 5

ひとこと要約

この論文では、推論中に無効な特徴マップを除外することで、畳み込みニューラルネットワークにおける帯域幅の使用量を削減する動的ランタイム特徴マッププルーニングを提案している。値がε以内に近いゼロの特徴マップを特定し、スキップすることで、精度に損失が生じない10%の特徴マップ読み込み削減が達成され、さらに1%のトップ-1精度低下で追加で5%の削減が可能となり、再トレーニングを必要とせず、不規則なネットワーク構造を回避する静的重みプルーニングと補完的である。

ABSTRACT

High bandwidth requirements are an obstacle for accelerating the training and inference of deep neural networks. Most previous research focuses on reducing the size of kernel maps for inference. We analyze parameter sparsity of six popular convolutional neural networks - AlexNet, MobileNet, ResNet-50, SqueezeNet, TinyNet, and VGG16. Of the networks considered, those using ReLU (AlexNet, SqueezeNet, VGG16) contain a high percentage of 0-valued parameters and can be statically pruned. Networks with Non-ReLU activation functions in some cases may not contain any 0-valued parameters (ResNet-50, TinyNet). We also investigate runtime feature map usage and find that input feature maps comprise the majority of bandwidth requirements when depth-wise convolution and point-wise convolutions used. We introduce dynamic runtime pruning of feature maps and show that 10% of dynamic feature map execution can be removed without loss of accuracy. We then extend dynamic pruning to allow for values within an epsilon of zero and show a further 5% reduction of feature map loading with a 1% loss of accuracy in top-1.

研究の動機と目的

• 深層ニューラルネットワーク推論における高い帯域幅要件、特に深度分離型およびポイントワイド畳み込みからの入力特徴マップに起因するものに対処すること。
• 静的プルーニングで一般的に見られる再トレーニングの必要性や不規則なネットワーク構造を回避するため、実行時における動的特徴マッププルーニングの検討。
• 特徴マップがゼロまたはε以内に近い値であるものをプルーニングすることで、顕著な精度損失なしにメモリ帯域幅を削減する可能性の評価。
• 動的特徴マッププルーニングと静的重みプルーニングの比較を行い、現代のCNNにおける相乗効果の評価。

提案手法

• 推論中に、値がしきい値ε未満の特徴マップを動的に特定し、処理をスキップすることで、データ読み込みと帯域幅使用量を削減する。
• 深度分離型およびポイントワイド畳み込みが、特に現代のアーキテクチャにおいて特徴マップを主な帯域幅ボトルネックとしているという観察を活用する。
• 再トレーニングを必要とせず、トレーニング後処理として適用され、実行時に処理前に特徴マップ値をチェックすることで動作する。
• 標準的なプルーニングを拡張し、ゼロに近い値（ε以内）のものもプルーニング可能として、わずかな精度コストでさらなる帯域幅削減を実現する。
• 6つのネットワーク（AlexNet、MobileNet、ResNet-50、SqueezeNet、TinyNet、VGG16）に対して、さまざまな活性化関数とスパarsityレベルで評価が行われた。
• 静的重みプルーニングとは補完的である。特徴マップ帯域幅は、重み圧縮後でも依然として大きなボトルネックであり、特に深度分離畳み込みを含む現代のCNNにおいて顕著である。

実験結果

リサーチクエスチョン

• RQ1 動的特徴マッププルーニングにより、顕著な精度損失なしにDNN推論の帯域幅使用量を削減できるか？
• RQ2 ReLUと非ReLU活性化関数を用いるCNNアーキテクチャにおいて、特徴マップのスパarsityはどのように変化するか？
• RQ3 ε以内に近いゼロの特徴マップをプルーニングすることで、帯域幅効率をどの程度向上させられ、モデル精度を維持できるか？
• RQ4 動的特徴マッププルーニングは静的重みプルーニングに比べてどの程度効果的か？また、両者を併用できるか？

主な発見

• 複数のネットワーク（ReLUを用いるものも含む）において、トップ-1精度に損失が生じない範囲で、動的特徴マップ実行の10%を削減可能である。
• ε以内に近い値の特徴マップをプルーニングすることで、追加で5%の特徴マップ読み込み削減が達成され、トップ-1精度はわずか1%低下する。
• ReLUを用いるネットワーク（例：AlexNet、SqueezeNet、VGG16）は高いパラメータスパarsity（50%以上）を示し、静的プルーニングに適しているが、非ReLUネットワーク（例：ResNet-50、TinyNet）はゼロ値パラメータがほとんどない。
• パラメータスパarsityが低いネットワークにおいても、実行時の特徴マップ値のスパarsityに起因して、動的特徴マッププルーニングは依然として有効であり、特に深度分離型およびポイントワイド畳み込み層で顕著である。
• 静的重みプルーニングとは補完的であり、重み圧縮後でも特徴マップ帯域幅は依然として主要なボトルネックであり、特に深度分離畳み込みを含む現代のCNNにおいて顕著である。
• 再トレーニングを必要とせず、リソース制限のある環境へのデプロイに適した、顕著な帯域幅節約を実現する。