[論文レビュー] Learning Sparse Neural Networks via Sensitivity-Driven Regularization

Enzo Tartaglione, Skjalg Lepsøy+2 more|arXiv (Cornell University)|Oct 28, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 6

ひとこと要約

本論文は、バックプロパゲーションのヤコビアンから導出された新しい正則化項を用いて、出力に与える影響が最小限のパラメータ（感度が低いパラメータ）の大きさを段階的に小さくすることで、深層ニューラルネットワークをスパース化する感度駆動型正則化手法を提案する。この手法は、SOTA（最先端）手法の2倍程度のスパarsityを達成する一方で、同等またはより高いテスト精度を維持し、MNISTおよびImageNetベンチマークにおいてL2やL1正則化と比較して優れた性能を示す。

ABSTRACT

The ever-increasing number of parameters in deep neural networks poses challenges for memory-limited applications. Regularize-and-prune methods aim at meeting these challenges by sparsifying the network weights. In this context we quantify the output sensitivity to the parameters (i.e. their relevance to the network output) and introduce a regularization term that gradually lowers the absolute value of parameters with low sensitivity. Thus, a very large fraction of the parameters approach zero and are eventually set to zero by simple thresholding. Our method surpasses most of the recent techniques both in terms of sparsity and error rates. In some cases, the method reaches twice the sparsity obtained by other techniques at equal error rates.

研究の動機と目的

• メモリおよび帯域幅が制限されたデバイスに、大規模で過パrameter化された深層ニューラルネットワークを効果的にデプロイする課題に対処すること。
• 特に、ほとんどのパラメータが存在する全結合層において、モデル性能を劣化させることなくネットワークのスパarsityを向上させること。
• 感度の低いパラメータを効果的にプルーニングし、重要なパラメータを保持する正則化手法を開発すること。
• 感度に基づく正則化がモデルの一般化性能およびスパarsity-精度トレードオフに与える影響を評価すること。

提案手法

• 本手法は、各パラメータに対するネットワーク出力の感度に基づいてペナルティを課す正則化項を導入する。感度は、出力と各パラメータとのヤコビアンから計算される。
• 感度はバックプロパゲーションの勾配から導出され、追加の計算コストを最小限に抑えつつ効率的に計算可能である。
• 感度が低いパラメータは、正則化項のおかげで段階的にゼロに近づけ、その後のしきい値処理によってゼロに設定できる。
• 2種類の定式化を用いる：パラメータごとの特定感度（per-parameter）と、グローバル平均の非特定感度（global average）、両者をトレーニング中の損失関数に統合する。
• 正則化とプルーニングのパイプラインを採用：感度に基づく正則化でトレーニングを行い、その後にしきい値処理を適用してスパarsityを達成する。
• 本手法は汎用的であり、任意の微分可能なニューラルネットワークアーキテクチャに適用可能で、アーキテクチャ上の制約がない。

実験結果

リサーチクエスチョン

• RQ1 感度に基づく正則化は、モデル精度を損なうことなく、重要でないパラメータを効果的に同定・プルーニングできるか？
• RQ2 スパarsityと一般化性能の観点から、感度駆動型正則化は標準的なL2およびL1正則化と比べてどのように差がつくか？
• RQ3 本手法は、同等または低い誤差率でSOTA手法を上回るスパarsityを達成できるか？
• RQ4 特定感度と非特定感度の定式化の違いが、スパarsityおよび性能に与える影響は何か？
• RQ5 感度に基づく正則化は、標準的な正則化手法を上回るモデルの一般化性能を向上させられるか？

主な発見

• MNISTでは、非特定感度定式化を用いた場合、31.34%のスパarsityと0.97%のトップ1誤差を達成し、スパarsity-精度トレードオフにおいて他の手法を上回った。
• VGG-16を用いたImageNetでは、トップ1誤差をHanらの10.88%から9.80%に低減し、同等のスパarsityで一般化性能が向上した。
• 感度に基づく正則化項は、トレーニング中におけるテスト損失がL2正則化より低く、より優れた一般化性能を示した。
• MNISTでは、ネットワークの複雑さを10倍に削減しながら性能を維持できたため、強力なスパース化能力を示した。
• VGG-16のような深層ネットワークでは、特定感度定式化（S^spec）が非特定感度バージョン（29.29%）よりも高いスパarsity（30.92%）を達成した。
• 感度はバックプロパゲーションの副産物として計算されるため、計算コストの増加は最小限に抑えられた。