[論文レビュー] Learned Threshold Pruning

Kambiz Azarian, Yash Bhalgat+2 more|arXiv (Cornell University)|Feb 28, 2020

Advanced Image and Video Retrieval Techniques参考文献 45被引用数 23

ひとこと要約

この論文は、ソフトプルーニングと微分可能なL₀正則化を用いて、ネットワーク重みと同時にエンドツーエンドで最適化可能な、微分可能で勾配ベースのper-layerプルーニング閾値学習手法であるLTP（Learned Threshold Pruning）を提案する。LTPは、精度の低下を最小限に抑えつつ、ResNet50を9.1倍、AlexNetを26.4倍に圧縮する最先端の非構造的プルーニング性能を達成しており、計算効率が高く、バッチ正規化とも互換性がある。

ABSTRACT

This paper presents a novel differentiable method for unstructured weight pruning of deep neural networks. Our learned-threshold pruning (LTP) method learns per-layer thresholds via gradient descent, unlike conventional methods where they are set as input. Making thresholds trainable also makes LTP computationally efficient, hence scalable to deeper networks. For example, it takes $30$ epochs for LTP to prune ResNet50 on ImageNet by a factor of $9.1$. This is in contrast to other methods that search for per-layer thresholds via a computationally intensive iterative pruning and fine-tuning process. Additionally, with a novel differentiable $L_0$ regularization, LTP is able to operate effectively on architectures with batch-normalization. This is important since $L_1$ and $L_2$ penalties lose their regularizing effect in networks with batch-normalization. Finally, LTP generates a trail of progressively sparser networks from which the desired pruned network can be picked based on sparsity and performance requirements. These features allow LTP to achieve competitive compression rates on ImageNet networks such as AlexNet ($26.4 imes$ compression with $79.1\%$ Top-5 accuracy) and ResNet50 ($9.1 imes$ compression with $92.0\%$ Top-5 accuracy). We also show that LTP effectively prunes modern extit{compact} architectures, such as EfficientNet, MobileNetV2 and MixNet.

研究の動機と目的

• 非構造的重みプルーニングにおける最適なper-layerプルーニング閾値の選択という課題に取り組むこと。通常、これらの閾値は手動で設定されるか、コストの高い反復的探索を要する。
• ネットワーク重みとレイヤー固有のプルーニング閾値を同時に最適化できる、微分可能でエンドツーエンドで学習可能なプルーニング手法を開発すること。
• 特にバッチ正規化を含む深層ネットワークの効率的でスケーラブルなプルーニングを可能にし、L₁やL₂正則化に依存しないこと。
• スパarsityと精度のトレードオフに基づく柔軟な展開が可能な、段階的にプルーニングされたモデルの連続的トレースを生成すること。
• MobileNetV2、EfficientNet、MixNetなどの現代的で効率的なアーキテクチャにおいて、既存手法が困難とする高圧縮比を達成できることを示すこと。

提案手法

• LTPは、プルーニング操作を介して勾配が流れることを可能にする微分可能なソフトプルーニング機構を導入し、エンドツーエンド学習を可能にする。
• 重みをどの程度プルーニングするかを勾配降下法で学習する微分可能なL₀正則化を定式化し、スパarsityを促進する。
• 各レイヤーに最適化可能なトレーニング可能な閾値パラメータを設け、モデルが自動的に各レイヤーの最適なプルーニングレベルを学習できるようにする。
• 閾値以下の重みは学習中に段階的にプルーニングされるソフトアサインメント戦略を採用し、学習中にハードバイナリ決定を避ける。
• 従来のL₁/L₂ペナルティが効果を失うバッチ正規化層に対しても、微分可能なL₀ペナルティに依存することで、この手法は互換性を持つ。
• LTPはトレーニング中にチェックポイントの系列を生成し、それぞれが異なるスパarsityレベルを表すため、望ましい精度-スパarsityトレードオフに基づくモデル選択が可能になる。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法を用いて、非構造的プルーニング性能を向上させるために、per-layerプルーニング閾値を効果的に学習できるか？
• RQ2 微分可能なL₀正則化は、L₁/L₂ペナルティが効果を失うバッチ正規化を含むネットワークにおいて、効果的なスパarsity学習を可能にするか？
• RQ3 トレーニング可能な閾値メカニズムは、反復的プルーニング-ファインチューニング手法よりも速く高圧縮比を達成できるか？
• RQ4 MobileNetV2、EfficientNet、MixNetなどの現代的で効率的なアーキテクチャに、アーキテクチャの変更なしに効果的に適用できるか？
• RQ5 LTPは、精度とスパarsity要件に基づく柔軟な選択が可能な、段階的なプルーディングモデルの連続的パスを生成するか？

主な発見

• ResNet50では9.1倍の圧縮を達成し、Top-5精度は0.3%の低下に抑えられ、18エポックのプルーニングと12エポックのファインチューニング後に92.0%の精度を達成した。
• AlexNetでは26.4倍の圧縮を達成し、Top-5精度に変化がなく（79.1%）、「精度」と「圧縮比」の両面で先行手法を上回った。
• MobileNetV2では1.33倍の圧縮を達成し、Top-1精度の低下は1%未満であり、同じ圧縮率でのグローバルプルーニング手法に比べて精度で9%優れた結果を示した。
• EfficientNet-B0は3倍、MixNet-Sは2倍に圧縮され、Top-1精度の低下は1%未満であり、これらのアーキテクチャにおけるプルーニング結果は本研究で初めて報告された。
• 収束が速く、ResNet50では18エポックでプルーニングが完了し、MixNet-Sでは追加のファインチューニングが不要であったため、高い計算効率を示した。
• LTPは連続的なプルーディングモデルのトレースを生成し、スパarsityとパフォーマンスのトレードオフに基づく展開用途に応じたモデル選択を可能にした。