[論文レビュー] Dependency Aware Filter Pruning

Kai Zhao, Xinyu Zhang+2 more|arXiv (Cornell University)|May 6, 2020

Advanced Neural Network Applications参考文献 66被引用数 5

ひとこと要約

本稿では、層間の依存関係を考慮することでフィルタ重要度の推定を改善する依存関係に配慮したフィルタpruning手法を提案する。グローバルランク付けに代わり、局所的で層単位の基準を用いることで、アーキテクチャの不均衡を回避する。スパースリグレッションの動的制御により、目的の圧縮比を達成し、CIFAR、SVHN、ImageNetにおいてNetwork Slimmingを上回る性能を示し、より安定的かつ正確な圧縮アーキテクチャを実現する。

ABSTRACT

Convolutional neural networks (CNNs) are typically over-parameterized, bringing considerable computational overhead and memory footprint in inference. Pruning a proportion of unimportant filters is an efficient way to mitigate the inference cost. For this purpose, identifying unimportant convolutional filters is the key to effective filter pruning. Previous work prunes filters according to either their weight norms or the corresponding batch-norm scaling factors, while neglecting the sequential dependency between adjacent layers. In this paper, we further develop the norm-based importance estimation by taking the dependency between the adjacent layers into consideration. Besides, we propose a novel mechanism to dynamically control the sparsity-inducing regularization so as to achieve the desired sparsity. In this way, we can identify unimportant filters and search for the optimal network architecture within certain resource budgets in a more principled manner. Comprehensive experimental results demonstrate the proposed method performs favorably against the existing strong baseline on the CIFAR, SVHN, and ImageNet datasets. The training sources will be publicly available after the review process.

研究の動機と目的

• 層間の依存関係を無視する従来のフィルタpruning手法の不安定さと最適でない性能を是正する。
• 隣接する畳み込み層間の関係をモデル化することで、フィルタ重要度の推定を向上させる。
• グローバルランク付けによる不均衡なアーキテクチャを避けるために、局所的で層単位のpruning基準を開発する。
• トレーニング中に目標スパースリティ比に一致するように、動的正則化係数λを調整するメカニズムを導入する。
• リソース制約下でも最小限の精度低下で、より原理的かつ安定的なニューラルネットワーク圧縮を実現する。

提案手法

• 隣接する層の畳み込み重みのL1ノルムとバッチ正則化のスケーリング係数を組み合わせた、依存関係に配慮したフィルタ重要度スコアを提案する。
• 1層ごとに局所的重要度基準を用い、1層のスパースリティが他の層に依存せずに独立してpruning意思決定に影響を与える。
• トレーニング中に目標スパースリティ比に一致するように、動的正則化係数λを調整する。
• バッチ正則化スケーリング係数にL1正則化を適用し、現在のスパースリティと目標値に基づいてλを段階的に更新する。
• 反復的pruningとファインチューニングを実施：動的λで学習し、局所的重要度に基づいてフィルタをpruningし、その後圧縮モデルをファインチューニングする。
• バリデーションベースの戦略を用いて最適なpruning比を決定し、複数回の実行におけるロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 層間の依存関係を無視すると、フィルタpruning手法の安定性と性能にどのような影響を与えるか？
• RQ2 グローバルランク付けと比較して、局所的で層単位の重要度基準は、prunedアーキテクチャの質を向上させ得るか？
• RQ3 動的正則化制御により、トレーニング中により正確かつ一貫性のあるスパースリティ制御が可能になるか？
• RQ4 提案手法は、高スパースリティ比においてNetwork Slimming（SLM）を上回る精度と安定性を達成できるか？
• RQ5 スクラッチから学習する場合とファインチューニングする場合とで、prunedアーキテクチャの品質はどのように比較されるか？

主な発見

• 提案手法はCIFAR-10とCIFAR-100において、それぞれ0.7および0.4のpruning比で93.93%および73.71%のトップ1精度を達成し、SLMを上回る。
• ResNet-164では、スクラッチから学習した場合に76.43%の精度を達成し、同じ条件下でSLMの75.05%を上回る。
• CIFAR-10における5-foldクロスバリデーションでは、SLMは全実行で崩壊（10.00%精度）したが、提案手法は少なくとも1層あたり23チャンネルが残存する状態で93.93%の精度を維持した。
• フィルタ分布図から、提案手法はよりバランスが取れて安定したprunedアーキテクチャを生成することが示された。一方、SLMは層ごとのチャンネル数に著しい不均衡を生じさせた。
• 動的正則化制御により、目標スパースリティに一貫して収束することが確認され、アブレーションスタディでは静的λ設定に比べて性能が向上した。
• ImageNetにおける包括的な実験により、本手法はSLMを上回り、最先端のデータ依存およびデータ非依存pruning手法と同等の性能を示した。