[論文レビュー] Hybrid Pruning: Thinner Sparse Networks for Fast Inference on Edge Devices

Xiaofan Xu, Mi Sun Park+1 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications参考文献 11被引用数 28

ひとこと要約

この論文は、粗粒度のチャネル pruning と細粒度の重み pruning を組み合わせたハイブリッド pruning を提案し、エッジデバイスでの効率的な推論を可能にする薄くスパースなニューラルネットワークを構築する。精度許容誤差とハードウェア制約（例：8の倍数であるチャネル数）に基づいて、各層の pruning 閾値を決定する高速な感度テストを導入することで、最先端の結果を達成した—ImageNet における ResNet50 のパラメータを 72.9% 減少させ、トップ-1 精度をわずか 0.88% 低下させながら、ResNet56 では最小限の精度損失で 4.5× の高速化を実現した。

ABSTRACT

We introduce hybrid pruning which combines both coarse-grained channel and fine-grained weight pruning to reduce model size, computation and power demands with no to little loss in accuracy for enabling modern networks deployment on resource-constrained devices, such as always-on security cameras and drones. Additionally, to effectively perform channel pruning, we propose a fast sensitivity test that helps us quickly identify the sensitivity of within and across layers of a network to the output accuracy for target multiplier accumulators (MACs) or accuracy tolerance. Our experiment shows significantly better results on ResNet50 on ImageNet compared to existing work, even with an additional constraint of channels be hardware-friendly number.

研究の動機と目的

• ドローンや常時稼働するカメラなどのリソース制限のあるエッジデバイスに、大規模で高精度なディープニューラルネットワーク（DNN）をデプロイする課題に対処すること。
• 各層に均一に適用される従来の pruning 方法には、層ごとの感度の違いにより精度が著しく低下するという限界があるため、それを克服すること。
• 追加のトレーニングを必要とせず、ユーザーが定めた精度許容誤差またはターゲット MACs を満たす層ごとの pruning 限界を特定する、高速で軽量な感度テストを開発すること。
• エッジアクセラレータとの互換性を高めるために、チャネル数を 8 や 4 の倍数に制約するハードウェアフレンドリーなスパarsityを実現すること。
• 複数スケールのスパarsity（チャネルと重みの両方の pruning）を組み合わせることで、モデルサイズと計算量を大幅に削減し、精度損失を最小限に抑えることができるかを実証すること。

提案手法

• 各層の pruning に対する耐性を、絶対値の重み合計に基づいて出力チャネルを段階的にマスクすることで評価する高速な感度テストを提案。精度がしきい値（例：元の精度の 3–5% 未満）を下回るまで繰り返し、その時点で停止する。
• 感度テストを用いて、ユーザーが定めた許容誤差内に精度を維持できる各層の pruning パcentを計算し、その後ハードウェアフレンドリーなチャネル数（例：8 の倍数）に丸め直す。
• 統計に基づく重み pruning を、薄くなったモデルに適用。各層の重みの平均と標準偏差に基づいて層ごとのしきい値を計算し、グローバルなスパarsity制御係数 σ を用いる。
• トレーニング中にバイナリマスクを動的に更新することで、順伝播時に重みをスパース化し、バックプロパゲーションではフル精度の勾配を維持する。
• 2段階のパイプラインとして、まず感度テストによるチャネル pruning を実施し、その後そのスパースなモデルに対して重み pruning を適用する。
• 任意のディープラーニングフレームワークに対応し、メタラーニングや新しいモデル用の追加トレーニングを必要としないため、広範なデプロイが可能である。

実験結果

リサーチクエスチョン

• RQ1 粗粒度のチャネル pruning と細粒度の重み pruning を組み合わせることで、エッジデバイス上でのモデルサイズと計算量を著しく削減し、精度損失を最小限に抑えることができるか？
• RQ2 大量の再トレーニングやハードウェア固有のチューニングを伴わず、層ごとの pruning 感度を効率的に測定する方法は何か？
• RQ3 ハードウェアフレンドリーなチャネル数（例：8 の倍数）を強制する場合、モデル圧縮と精度保持の最適なバランスは何か？
• RQ4 同時にチャネルと重みのスパarsityを適用する多粒度スパarsityは、単一粒度の pruning よりも、圧縮率と推論速度の面で優れているか？
• RQ5 非反復的で高速な感度テストは、与えられた精度許容誤差に対して、各層の最大安全 pruning 確率を信頼性高く予測できるか？

主な発見

• ImageNet における ResNet50 では、提案手法のハイブリッド pruning によりパラメータが 72.9% 減少（25.5M から 6.9M に）し、トップ-1 精度はわずか 0.88% 低下（76.01% から 74.32% に）。
• MACs は 2 倍減少、パラメータは 3.7 倍減少を達成し、ThiNet や NISP、SPP などの先行研究を上回る圧縮性能と精度を実現した。
• CIFAR-10 における ResNet56 では、チャネル pruning のみで 59% のスパarsity（2.4× の高速化）を達成。ハイブリッド pruning を用いることで 78% のスパarsity（4.5× のパラメータ削減）を実現し、トップ-1 精度損失は 1% 未満だった。
• 感度テストは CPU で 8.86 分、GPU で 3.38 秒で実行可能であり、追加のトレーニングを要せず、迅速なモデル分析に実用的である。
• 出力チャネル数が増加する層（例：トランジション層や残差ブロック）は、pruning に対してより感度が高いことが判明し、層に応じた pruning 策略の必要性が裏付けられた。
• ハイブリッド pruning は、ハードウェアフレンドリーなチャネル数を満たす薄い ResNet50 において、最先端の性能を達成し、多粒度スパarsity の有効性を実証した。