[論文レビュー] CHIP: CHannel Independence-based Pruning for Compact Neural Networks

Yang Sui, Miao Yin+4 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 62被引用数 25

ひとこと要約

CHIP はチャネル間の独立性を、フィルターを剪定するためのチャネル間指標として導入し、CIFAR-10 および ImageNet のベンチマークでパラメータ数と FLOPs を大幅に削減しつつ高精度を達成する。

ABSTRACT

Filter pruning has been widely used for neural network compression because of its enabled practical acceleration. To date, most of the existing filter pruning works explore the importance of filters via using intra-channel information. In this paper, starting from an inter-channel perspective, we propose to perform efficient filter pruning using Channel Independence, a metric that measures the correlations among different feature maps. The less independent feature map is interpreted as containing less useful information$/$knowledge, and hence its corresponding filter can be pruned without affecting model capacity. We systematically investigate the quantification metric, measuring scheme and sensitiveness$/$reliability of channel independence in the context of filter pruning. Our evaluation results for different models on various datasets show the superior performance of our approach. Notably, on CIFAR-10 dataset our solution can bring $0.90\%$ and $0.94\%$ accuracy increase over baseline ResNet-56 and ResNet-110 models, respectively, and meanwhile the model size and FLOPs are reduced by $42.8\%$ and $47.4\%$ (for ResNet-56) and $48.3\%$ and $52.1\%$ (for ResNet-110), respectively. On ImageNet dataset, our approach can achieve $40.8\%$ and $44.8\%$ storage and computation reductions, respectively, with $0.15\%$ accuracy increase over the baseline ResNet-50 model. The code is available at https://github.com/Eclipsess/CHIP_NeurIPS2021.

研究の動機と目的

• 横断的なチャネル視点からフィルタ剪定を動機付け、チャネル横断の冗長性を捉える。
• Channel Independence (CI) をフィルタの重要度を定量化する指標として提案する。
• CI を計算し剪定するフィルタを選択するための、低コストで堅牢な方式を開発する。
• CI ベースの剪定が、データセット全体でモデルサイズと FLOPs を削減しつつ精度を維持することを示す。

提案手法

• Channel Independence (CI) を、特徴マップを除去したときの核ノルムの変化として定義し、すなわち CI(A_i^l) = ||A^l||_* - ||M_i^l ∘ A^l||_* (Eq. 3) 。
• 各特徴マップについて CI を計算し、入力サンプル全体で平均化して、最も CI 値が小さいフィルタを剪定する。
• 複数のフィルタを剪定する際の CI を、個別の CI 値を足し合わせることで近似する (Eq. 4)。
• マスク学習のための大規模な再訓練を伴わないワンショット剪定手順を用い、剪定後のネットワークを微調整する。
• Algorithm 1 (CHIP) は層ごとの手順を概説する：計算、平均化、CI のソート、剪定、そして微調整。

実験結果

リサーチクエスチョン

• RQ1 チャネル間の特徴情報（インター チャンネルの視点）は、チャネル内方法よりも良いフィルタの重要度をもたらすことができるか？
• RQ2 チャネル独立性は、データ分布や入力バッチを横断した場合に信頼できる頑健なフィルタ重要度の代理指標となるか？
• RQ3 組み合わせ爆発を避けつつ、複数フィルタの剪定に対してCIを効率的に計算する方法は？
• RQ4 CHIP は標準ベンチマークで実質的な圧縮を、最小限の精度低下で達成するか？
• RQ5 提案されたワンショット CI ベースの方式を超える、剪定マスクのさらなるデータ駆動による洗練は有益か？

主な発見

• CIFAR-10 では、ResNet-56、ResNet-110、VGG-16 において、モデルサイズと FLOPs を大幅に削減しつつ、0.90%–0.94% の精度向上を CHIP が実現。
• ImageNet では、ResNet-50 でストレージ 40.8%、FLOPs 44.8% の削減を達成し、精度は 0.15% 向上。
• 最先端の剪定法と比較して、CHIP は、同程度またはそれより良い圧縮比で競争力のある、または優れた精度を提供する（例：CIFAR-10 の結果および ImageNet の比較）。
• CI ベースのワンショット剪定方式は、バッチや入力分布を跨って堅牢であり、微調整時の追加マスク学習の必要性が最小限である。