[論文レビュー] Operation-Aware Soft Channel Pruning using Differentiable Masks

Min Soo Kang, Bohyung Han|arXiv (Cornell University)|Jul 8, 2020

Speech and Audio Processing被引用数 32

ひとこと要約

この論文は、BNとReLUを活用して追加のファインチューニングなしにチャネルを剪定できる微分可能でデータ駆動のチャネル剪定法を提案し、同等のリソース予算下でより良い精度を達成します。

ABSTRACT

We propose a simple but effective data-driven channel pruning algorithm, which compresses deep neural networks in a differentiable way by exploiting the characteristics of operations. The proposed approach makes a joint consideration of batch normalization (BN) and rectified linear unit (ReLU) for channel pruning; it estimates how likely the two successive operations deactivate each feature map and prunes the channels with high probabilities. To this end, we learn differentiable masks for individual channels and make soft decisions throughout the optimization procedure, which facilitates to explore larger search space and train more stable networks. The proposed framework enables us to identify compressed models via a joint learning of model parameters and channel pruning without an extra procedure of fine-tuning. We perform extensive experiments and achieve outstanding performance in terms of the accuracy of output networks given the same amount of resources when compared with the state-of-the-art methods.

研究の動機と目的

• 別個のファインチューニング手順なしで深層ネットワークのチャネルを剪定してモデルの圧縮を動機づけ、実現する。
• バッチ正規化とReLUの相互作用を利用して、精度低下を最小限に抑えつつ確率的にチャネルを剪定する。
• ネットワークパラメータとチャネルマスクを共同最適化する、差分可能なエンドツーエンドフレームワークを開発する。
• 提案手法がデータセットとバックボーンを跨いで、従来の構造的剪定法を上回る実証的証拠を提供する。

提案手法

• BNパラメータ（beta, gamma）とReLUの影響に基づいて各チャネルの確率的マスクを定義する。
• 微分可能なロジスティック関数で離散的な剪定マスクを緩め、微分可能なサンプリングのためにGumbel-Softmaxを用いる。
• BN層を改変して確率的マスクを前方伝搬に組み込み、マスクを介した逆伝搬を可能にする。
• BNパラメータに関連するガウス分布のCDFを増加させることで剪定を促進するスパース性損失を導入する。
• 別個のファインチューニング段階なしに、モデルの重みとマスクを共同最適化するよう、ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 BNとReLUを併用して、チャネル剪定の信頼できる確率的基準を提供できるか？
• RQ2 同一リソース制約下で、マスクとパラメータの結合・微分可能な学習が、従来の剪定手法と比べてより高い精度を達成するか？
• RQ3 ガウス信頼区間を用いたスパース性損失が、チャネル削減と性能にどのように影響するか？
• RQ4 微分可能で共同訓練されたフレームワークを介してチャネルを剪定する場合、ファインチューニングは不要か？

主な発見

• 提案されたSCP法は、SFP、FPGM、Slimming、Variational Pruningよりも精度低下を抑える、CIFAR-10/100のさまざまなバックボーンで。
• CIFARデータセットでは、SCPは基準精度と同等かそれを上回ることが多く、チャネル、パラメータ、FLOPの大幅な削減を提供する。
• ILSVRC-12では、トップ1/トップ5の低下が競争力があり、FLOPsの顕著な削減と実用的な速度向上（推論時間約24%の短縮）を示し、追加のファインチューニングなし。
• アブレーションにより、剪定基準にReLUを組み込むと BNのみの剪定より性能が向上する（「ReLUなしのSCP」より）ことが示される。
• 損失のスパース性λを増やすと、FLOPs削減がより大きくなる一方、精度には変動的な影響を与え、制御可能なトレードオフを示す。