[論文レビュー] Group Fisher Pruning for Practical Network Compression

Liyang Liu, Shilong Zhang+8 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Image and Video Retrieval Techniques被引用数 25

ひとこと要約

本論文は、Group Fisher Pruning（Group Fisher Pruning）を導入し、結合チャンネルをもつ複雑なアーキテクチャを自動的に層をグループ化し、マスクを共有し、メモリベースの Fisher 情報を用いてチャンネルの重要度を評価する一般的なチャネルプルーニングの枠組みであり、GPU における実世界での速度向上をより良く実現する。

ABSTRACT

Network compression has been widely studied since it is able to reduce the memory and computation cost during inference. However, previous methods seldom deal with complicated structures like residual connections, group/depth-wise convolution and feature pyramid network, where channels of multiple layers are coupled and need to be pruned simultaneously. In this paper, we present a general channel pruning approach that can be applied to various complicated structures. Particularly, we propose a layer grouping algorithm to find coupled channels automatically. Then we derive a unified metric based on Fisher information to evaluate the importance of a single channel and coupled channels. Moreover, we find that inference speedup on GPUs is more correlated with the reduction of memory rather than FLOPs, and thus we employ the memory reduction of each channel to normalize the importance. Our method can be used to prune any structures including those with coupled channels. We conduct extensive experiments on various backbones, including the classic ResNet and ResNeXt, mobile-friendly MobileNetV2, and the NAS-based RegNet, both on image classification and object detection which is under-explored. Experimental results validate that our method can effectively prune sophisticated networks, boosting inference speed without sacrificing accuracy.

研究の動機と目的

• 複雑な構造（残差、グループ/深さ方向畳み込み、FPN）を持つネットワークにおけるチャンネルが層間で結合されている場合のプルーニングの動機づけと解決。
• 自動的に結合チャンネルを識別して一体でプルーニングすべきグループを見つける層グルーピングアルゴリズムを提案。
• 単一チャネルと結合チャネルの両方に対して、統一的な Fisher 情報ベースの重要度指標を開発。
• 実際の GPU の速度向上とより良く相関させるため、チャンネルの重要度をメモリ削減で正規化。
• 分類と物体検出のバックボーンとアーキテクチャを横断して手法の有効性を実証。

提案手法

• 入力チャネルごとに初期化されたバイナリチャネルマスクを導入（1）。
• 計算グラフ上の DFS による層グルーピングアルゴリズムを開発し、結合チャネルのグループを形成し、グループ内でマスクを共有（2）。
• Fisher-information に基づく損失変化の近似により、マスク勾配の二乗によって近似される s_i としてチャネルの重要度を推定（3）。
• 連鎖律に従い、グループ内のすべてのチャネルの勾配を合算して結合チャネルの重要度を算出（4）。
• 最も重要でないマスクを反復的にゼロ化してプルーニングし、モデルを微調整（ファインチューニング）（5）。
• FLOPs の代わりにメモリ削減によってチャネル重要度を正規化し、実際の GPU のスピードアップをより良く得られるチャネルを選択（6）。

実験結果

リサーチクエスチョン

• RQ1 複雑なアーキテクチャを横断する結合チャネルをどのように識別し、効率的にプルーニングできるか？
• RQ2 結合チャネル間でマスクを共有することで、実際の推論速度の向上は精度を損なわずに得られるか？
• RQ3 プルーニング決定と GPU の速度向上の相関を高めるため、FLOPs よりもメモリ削減が正規化の代理指標として優れているか？
• RQ4 Fisher-information に基づくチャネル重要度を、GConv、DWConv、FPN ベースのネットワークなどの構造に拡張できるか？
• RQ5 Group Fisher Pruning が多様なバックボーンやタスク（分類・物体検出）に対してどのような影響を与えるか？

主な発見

• 本手法は、残差接続、グループ畳み込み、深さ方向畳み込み、特徴ピラミッドを持つネットワークを精度を維持したままプルーニングできることを示す。
• 層のグルーピングとマスク共有は、結合チャネルを個別にプルーニングするよりも実用的な速度向上をもたらす。
• メモリ正規化された Fisher 重要度は、正規化なし、FLOPs 正規化、メモリ非依存の手法よりも、精度とスピードのトレードオフで優れている。
• ResNet、ResNeXt、MobileNetV2、RegNet、検出フレームワークでの実験により、実質的な GPU 速度向上とほとんどの精度低下を伴わないことを示す。
• 本手法は、分類と検出タスクの比較的同等の FLOPs 制約の下で、いくつかの最先端のプルーニング手法を上回る。