[論文レビュー] Differentiable Pruning Method for Neural Networks.

Jaedeok Kim, Chiyoun Park+2 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Neural Network Applications参考文献 15被引用数 5

ひとこと要約

この論文は、FLOPs やパラメータ数などの離散的スパarsityメトリクスを勾配ベースで最適化できるようにする、トレーニング可能なゲート関数を用いた微分可能 pruning 法を提案する。チャネル出力に学習可能なゲートを接続し、標準的なバックプロパゲーションによる微調整を行うことで、最適なチャネルサブセットを自動的に同定する。CIFAR-10 における ResNet-56 では、精度に影響を与えずに 50% の FLOPs 減少を達成した。

ABSTRACT

Architecture optimization is a promising technique to find an efficient neural network to meet certain requirements, which is usually a problem of selections. This paper introduces a concept of a trainable gate function and proposes a channel pruning method which finds automatically the optimal combination of channels using a simple gradient descent training procedure. The trainable gate function, which confers a differentiable property to discrete-valued variables, allows us to directly optimize loss functions that include discrete values such as the number of parameters or FLOPs that are generally non-differentiable. Channel pruning can be applied simply by appending trainable gate functions to each intermediate output tensor followed by fine-tuning the overall model, using any gradient-based training methods. Our experiments show that the proposed method can achieve better compression results on various models. For instance, our proposed method compresses ResNet-56 on CIFAR-10 dataset by half in terms of the number of FLOPs without accuracy drop.

研究の動機と目的

• ニューラルネットワークにおけるチャネル数などの離散的アーキテクチャ的選択を、勾配上で最適化する課題に対処すること。これらの選択は通常微分不能であり、勾配上昇降法で最適化することが難しい。
• FLOPs やパラメータ数といった離散的スパarsityメトリクスの微分可能近似を用いて、ニューラルネットワークのエンドツーエンド学習を可能にすること。
• アーキテクチャの再設計や複雑な探索手順を必要とせず、シンプルで即座に適用可能なチャネル pruning 法を開発すること。
• 勾配上昇降法によるチャネル重要度の最適化を通じて、高いモデル圧縮比を達成しながらモデルの精度を維持すること。

提案手法

• 各チャネルに学習可能なスカラー重みを割り当てるトレーナブルゲート関数を導入し、チャネルの存在を微分可能に制御できるようにする。
• ゲート関数を各中間特徴マップ出力に適用することで、学習中にどのチャネルを保持または削除するかをネットワークが学習できるようにする。
• 標準的なバックプロパゲーションを用いて、ネットワーク重みとゲート値を同時に最適化し、損失を最小化すると同時に FLOPs やパラメータ数を考慮する。
• 離散的チャネル選択の微分可能リラクゼーションを採用することで、最終的な pruning 決定が離散的であっても、連続的な勾配を用いることが可能になる。
• ゲート関数を付加した全モデルを、標準的な最適化手法を用いて微調整し、最適なチャネルコンビネーションを同定する。
• トレーニング後に、しきい値以下のゲートをゼロに設定することで pruning を適用し、対応するチャネルを実際に削除する。

実験結果

リサーチクエスチョン

• RQ1 FLOPs やパラメータ数といった離散的アーキテクチャハイパーパramータを、微分可能にすることで勾配上昇降法で最適化できるか？
• RQ2 トレーナブルゲート関数は、精度の低下を最小限に抑えつつ、エンドツーエンド学習によるチャネル pruning をどの程度効果的に可能にするか？
• RQ3 提案手法は、標準ベンチマークで性能の低下を伴わずに、FLOPs やパラメータ数の顕著な圧縮を達成できるか？
• RQ4 既存の pruning 技術と比較して、圧縮比と精度保持性の点で本手法はどの程度優れているか？

主な発見

• 提案手法は、CIFAR-10 データセットにおける ResNet-56 で、精度に影響を与えずに FLOPs を 50% 減少させた。
• 標準的な最適化手順を用いたエンドツーエンド学習により、自動的かつ効率的なチャネル pruning が可能になった。
• トレーナブルゲート関数の使用により、FLOPs やパラメータ数といった微分不能なメトリクスの微分可能最適化が可能になった。
• アプローチはシンプルで汎用的であり、中間層にゲート関数を追加するのみで、標準的な微調整で十分に機能する。
• モデル精度を維持しながら、ベースラインの pruning 技術に比べて圧縮効率が優れていた。
• 学習済みのゲート関数は、余分なチャネルを効果的に特定・抑制し、コンパクトかつ正確なモデルを生成した。