[論文レビュー] An Effective Information Theoretic Framework for Channel Pruning

Yihao Chen, Zefang Wang|arXiv (Cornell University)|Aug 14, 2024

Artificial Immune Systems Applications被引用数 2

ひとこと要約

本稿では、ランクとエントロピーの融合を「情報濃縮」として用い、層ごとのプルーニング比を指導致する情報理論的フレームワークを提案する。また、シャープレー値を用いて重要度が低いチャネルを特定・削除する。この手法は、顕著なFLOPおよびパラメータ削減と併せて最先端の精度を達成しており、例としてResNet-56/CIFAR-10では45.5%のFLOP削減で0.21%の精度向上を達成し、ResNet-50/ImageNetでは41.6%のFLOP削減でTop-1精度を0.43%しか損なわない。

ABSTRACT

Channel pruning is a promising method for accelerating and compressing convolutional neural networks. However, current pruning algorithms still remain unsolved problems that how to assign layer-wise pruning ratios properly and discard the least important channels with a convincing criterion. In this paper, we present a novel channel pruning approach via information theory and interpretability of neural networks. Specifically, we regard information entropy as the expected amount of information for convolutional layers. In addition, if we suppose a matrix as a system of linear equations, a higher-rank matrix represents there exist more solutions to it, which indicates more uncertainty. From the point of view of information theory, the rank can also describe the amount of information. In a neural network, considering the rank and entropy as two information indicators of convolutional layers, we propose a fusion function to reach a compromise of them, where the fusion results are defined as ``information concentration''. When pre-defining layer-wise pruning ratios, we employ the information concentration as a reference instead of heuristic and engineering tuning to provide a more interpretable solution. Moreover, we leverage Shapley values, which are a potent tool in the interpretability of neural networks, to evaluate the channel contributions and discard the least important channels for model compression while maintaining its performance. Extensive experiments demonstrate the effectiveness and promising performance of our method. For example, our method improves the accuracy by 0.21% when reducing 45.5% FLOPs and removing 40.3% parameters for ResNet-56 on CIFAR-10. Moreover, our method obtains loss in Top-1/Top-5 accuracies of 0.43%/0.11% by reducing 41.6% FLOPs and removing 35.0% parameters for ResNet-50 on ImageNet.

研究の動機と目的

• 現在のチャネルプルーニング手法における解釈可能性の欠如、特に層ごとのプルーニング比の割り当てに関する課題を解決すること。
• ヒューリスティックや工学的チューニングに依存せず、原理的で情報理論的基準に基づいて重要でないチャネルを同定すること。
• ランクとエントロピーを組み合わせることで、特徴量の重要度を補完的指標として用いることで、モデル圧縮の効率を向上させること。
• シャープレー値を用いてチャネルの寄与度を評価することで、プルーニング中に高いモデル精度を維持すること。
• 異なるアーサテクチャやタスク（画像分類やオブジェクト検出を含む）に一般化可能な、解釈可能なフレームワークを構築すること。

提案手法

• 本手法は、各畳み込み層の情報含量を定量化するため、ランクとエントロピーの融合として「情報濃縮」を導入する。
• ランクは、線形系における独立解の数の代理として、情報容量を表す。
• エントロピーは、層の特徴マップ活性化の不確実性または情報含量を測定する。
• ランクとエントロピーの融合により、層ごとのプルーニング比を割り当てるより堅牢で解釈可能な指標が得られる。
• 各チャネルが最終予測に与える寄与度を評価するため、シャープレー値を計算する。これにより、重要度が最も低いチャネルを正確に特定できる。
• 各層でシャープレー値が最小のチャネルがプルーニングされ、その後、精度回復のためのファインチューニングが実施される。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなチューニングに頼らず、原理的かつ解釈可能な方法で層ごとのプルーニング比をどのように割り当てることができるか？
• RQ2 ランクとエントロピーの融合は、チャネルプルーニングにおける特徴量の重要度の信頼性のある代理指標として機能するか？
• RQ3 シャープレー値の使用により、従来の重要度基準と比較して、プルーニング後のモデル精度がどのように向上するか？
• RQ4 この情報理論的フレームワークは、FLOPとパラメータを削減する中で、どの程度モデル性能を維持できるか？
• RQ5 この手法は、画像分類やオブジェクト検出を含む、異なるアーサテクチャやタスクに一般化可能か？

主な発見

• CIFAR-10用ResNet-56では、45.5%のFLOP削減に加え40.3%のパラメータ削減を達成し、精度が0.21%向上した。
• ImageNet用ResNet-50では、41.6%のFLOP削減と35.0%のパラメータ削減を達成したが、Top-1精度の損失はわずか0.43%にとどまった。
• オブジェクト検出では、プルーニングされたRetinaNetがCOCO2017で37.6%のmAPを達成し、25.55Mのパラメータを有し、効率と精度のトレードオフが優れている。
• 情報濃縮指標は、手動チューニングへの依存を低減する上で、層ごとのプルーニング比を効果的に指導致する。
• シャープレー値は、チャネル重要度スコアリングに信頼性の高いゲーム理論的根拠を提供し、プルーニング後の性能維持に寄与する。
• このフレームワークは一般化性に優れており、分類および検出を含む多数のモデルとタスクで強力な結果を達成している。