[論文レビュー] DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation

Xuefei Ning, Tianchen Zhao+4 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 9

ひとこと要約

DSAは、FLOPs制約下でのADMMベースの最適化を用いた、効率的な予算付き pruning のための微分可能スパース性割り当て手法を提案する。勾配に基づくレイヤー単位のスパース性割り当てにより、エンド・ツー・エンドのスパース性割り当て最適化が可能となり、CIFAR-10およびImageNetにおいて反復的 pruning 法と比較して少なくとも1.5倍の高速化を達成する。新規の微分可能 pruning プロセスを用いることで、スパース性割り当ての最適化が可能となる。

ABSTRACT

Budgeted pruning is the problem of pruning under resource constraints. In budgeted pruning, how to distribute the resources across layers (i.e., sparsity allocation) is the key problem. Traditional methods solve it by discretely searching for the layer-wise pruning ratios, which lacks efficiency. In this paper, we propose Differentiable Sparsity Allocation (DSA), an efficient end-to-end budgeted pruning flow. Utilizing a novel differentiable pruning process, DSA finds the layer-wise pruning ratios with gradient-based optimization. It allocates sparsity in continuous space, which is more efficient than methods based on discrete evaluation and search. Furthermore, DSA could work in a pruning-from-scratch manner, whereas traditional budgeted pruning methods are applied to pre-trained models. Experimental results on CIFAR-10 and ImageNet show that DSA could achieve superior performance than current iterative budgeted pruning methods, and shorten the time cost of the overall pruning process by at least 1.5x in the meantime.

研究の動機と目的

• 離散的で探索ベースのスパース性割り当てに依存する従来の反復的予算付き pruning 法の非効率性を解消する。
• 事前学習を不要とする、スパース性割り当てからの最適化を可能にする。
• 連続的最適化が可能な勾配計算をスパース性比に関して可能とする、微分可能な pruning プロセスを開発する。
• FLOPsまたはレイテンシ制約下でのスパース性割り当てにおけるサンプル効率および計算効率を向上させる。
• スキップ接続に起因するトポロジカル制約をグループ化手順により処理することで、構造的整合性を確保する。

提案手法

• チャネルマスク上の確率分布を用いてハード pruning を緩和する微分可能な pruning プロセスを導入し、スパース性比を介して勾配の流れを可能にする。
• 精度の微分可能な代理指標として検証損失を用い、スパース性割り当ての勾配ベース最適化を可能にする。
• 予算制約下で重みとスパース性比を同時に最適化するために、交替方向乗数法（ADMM）を適用する。
• ADMM更新を主な学習ループに統合し、重み最適化ステップの数十ステップごとにスパース性割り当てを更新することで、オーバーヘッドを低減する。
• 残差ネットワークにおける接続性を保つために、スキップ接続グループを単位として扱うトポロジカルグループ化戦略を実装する。
• レイヤーごとの感受性に応じて、スパース性比に関する勾配の大きさを正規化・整合化し、合理的なスパース性割り当てを誘導する。

実験結果

リサーチクエスチョン

• RQ1 連続的スパース性比における勾配ベース最適化は、離散的探索に比べて予算付き pruning で優れた性能を発揮するか？
• RQ2 微分可能な pruning プロセスは、事前学習を伴わず、効果的かつ効率的なスパース性割り当てを可能にするか？
• RQ3 タスク損失のスパース性比に関する勾配は、実際のレイヤー単位の感受性と整合性を示すか？
• RQ4 DSAは、CIFAR-10およびImageNetにおける反復的 pruning ベースラインと比較して、優れた精度とより速い収束を達成できるか？
• RQ5 DSAのスパース性割り当てからのアプローチは、コストの高い事前学習を回避しつつ、性能を維持できるか？

主な発見

• ResNet-18でFLOPsの60%を維持した場合、ImageNetにおいて1.11%の精度低下で、すべての反復的 pruning ベースラインを上回る性能を達成した。
• DSAは反復的メソッドと比較して、合計の pruning 時間を少なくとも1.5倍短縮し、CIFAR-10では5/300 GPU時間、ImageNetでは150/300 GPU時間で実現した。
• スパース性比に関する勾配の大きさは、実測のレイヤー単位の感受性と良好に一致しており、本手法のスパース性割り当ての合理性が裏付けられた。
• DSAは、トポロジカルに関連するレイヤー（例：残差ブロック）をグループ化することで、モデルの接続性を効果的に保持し、構造的整合性を維持した。
• DSAのスパース性割り当てからのアプローチにより、300エポックの事前学習段階を回避することで、合計計算コストを削減した。
• CIFAR-10では、AMC や SSL などのベースラインと比較して、複数の FLOPs バジェットにおいて一貫して優れた性能を示し、ロバスト性と効率性を実証した。