[論文レビュー] DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures

Huanrui Yang, Wei Wen+1 more|arXiv (Cornell University)|Aug 26, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用数 41

ひとこと要約

DeepHoyerはHoyer測度に基づく微分可能でスケール不変なスパース性正則化を導入し、要素ごとおよび構造的剪定を実現します。精度を犧牲にすることなく、従来の手法よりスパース性を改善します。

ABSTRACT

In seeking for sparse and efficient neural network models, many previous works investigated on enforcing L1 or L0 regularizers to encourage weight sparsity during training. The L0 regularizer measures the parameter sparsity directly and is invariant to the scaling of parameter values, but it cannot provide useful gradients, and therefore requires complex optimization techniques. The L1 regularizer is almost everywhere differentiable and can be easily optimized with gradient descent. Yet it is not scale-invariant, causing the same shrinking rate to all parameters, which is inefficient in increasing sparsity. Inspired by the Hoyer measure (the ratio between L1 and L2 norms) used in traditional compressed sensing problems, we present DeepHoyer, a set of sparsity-inducing regularizers that are both differentiable almost everywhere and scale-invariant. Our experiments show that enforcing DeepHoyer regularizers can produce even sparser neural network models than previous works, under the same accuracy level. We also show that DeepHoyer can be applied to both element-wise and structural pruning.

研究の動機と目的

• ほぼ全体で微分可能かつスケール不変であるスパース性誘発正則化を動機づけ、開発する。
• Hoyerのl1とl2ノルムの比を活用してDNNの効果的なスパース性指標を作成する。
• DeepHoyer正則化が同程度の精度で従来法よりもスパースなモデルを生むことを示す。
• このアプローチを要素ごとおよび構造的（グループ）剪定の双方に拡張する。

提案手法

• 要素ごとの剪定のためのHoyer-Square (HS) 正則化子 H_S(W) = (sum_i |w_i|)^2 / (sum_i w_i^2) を定義する。
• 構造的剪定のためのGroup-HS正則化子 G_H(W) = ((sum_g ||w^(g)||_2)^2) / (||W||_2^2) を提案し、グループレベルのスパース性を可能にする。
• 要素ごとの剪定のために、目的関数 min L(W) + sum_l (alpha H_S(W^(l)) + beta ||W^(l)||_2) で標準的なレイヤー毎の訓練にDeepHoyer正則化を組み込む。
• グループ-HSを、チャネル/フィルタグループの項と対応する係数 alpha_n, alpha_c, alpha_b, beta を含む、同様のレイヤーごとの目的関数で適用する。
• SGDで訓練し、3段階の剪定を行う：正則化子で訓練、小さな重みを剪定、ゼロ要素を固定してファインチューニング。
• 畳み込み層と全結合層の両方、およびResNet/AlexNet規模への適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 微分可能かつスケール不変なスパース性正則化が、DNN剪定においてl1またはl0ベースの手法を上回ることができるか？
• RQ2 Hoyer風の正則化が、標準ベンチマーク全体で精度低下なしにより積極的な要素別スパース性と構造的剪定を可能にするか？
• RQ3 HSとGroup-HSは、スパース性、FLOPs削減、精度の観点で最先端の剪定法とどう比較されるか？
• RQ4 このアプローチは大規模なネットワークとデータセット（例：ImageNetのAlexNet、CIFAR-10/ImageNetのResNet）に対してスケーリング可能か？

主な発見

• Hoyer-Square (HS) は、MNIST の LeNet 系と AlexNet で、従来法よりも要素ごとのスパース性を高めつつ精度を維持する。
• HS は、LeNet-300-100、LeNet-5、AlexNet で元の Hoyer およびいくつかの l1 ベースのベースラインより高い圧縮を達成する。
• Group-HS は、LeNet-300-100 および LeNet-5 で多くの従来手法よりもFLOPsをより大幅に削減する構造的剪定を実現し、精度は競争力がある。
• CIFAR-10 および ImageNet では、Group-HS剪定された ResNet は競争力のある精度を維持しつつ、精度とFLOPs のトレードオフのパレート前線を常に上回っている。