[論文レビュー] Successive Pruning for Model Compression via Rate Distortion Theory.

Berivan Isik, Albert No+1 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Neural Network Applications参考文献 44被引用数 4

ひとこと要約

本稿では、レート・ディストーション理論に従って逐次的な pruning をガイドする新しいモデル圧縮フレームワークを提案する。この手法は、ネットワークのスパarsity と エンタロピー符号化を同時に最適化することで、モデルサイズを最小化する。pruning をレート・ディストーション最適化問題として扱うことで、MNIST、CIFAR-10、ImageNet の5つのアーサイテクチャにおいて、従来の手法と比較して 2.5× 小さな圧縮モデルを達成する。

ABSTRACT

Neural network (NN) compression has become essential to enable deploying over-parameterized NN models on resource-constrained devices. As a simple and easy-to-implement method, pruning is one of the most established NN compression techniques. Although it is a mature method with more than 30 years of history, there is still a lack of good understanding and systematic analysis of why pruning works well even with aggressive compression ratios. In this work, we answer this question by studying NN compression from an information-theoretic approach and show that rate distortion theory suggests pruning to achieve the theoretical limits of NN compression. Our derivation also provides an end-to-end compression pipeline involving a novel pruning strategy. That is, in addition to pruning the model, we also find a minimum-length binary representation of it via entropy coding. Our method consistently outperforms the existing pruning strategies and reduces the pruned model's size by 2.5 times. We evaluate the efficacy of our strategy on MNIST, CIFAR-10 and ImageNet datasets using 5 distinct architectures.

研究の動機と目的

• 高圧縮比であっても pruning がなぜ効果的に機能するのかを、理論的根拠が限られているにもかかわらず理解すること。
• 実用的な pruning の性能とモデル圧縮の理論的限界のギャップを埋めること。
• pruning と エンタロピー符号化を統合した原理的でエンド・ツー・エンドの圧縮パイプラインを開発すること。
• 多様なデータセットとアーサイテクチャにおいて、最新のモデルサイズ削減を達成しながら、精度を維持すること。

提案手法

• レート（モデルサイズ）と歪み（精度損失）をそれぞれモデルサイズと精度損失に対応させ、ニューラルネットワーク圧縮をレート・ディストーション最適化問題として定式化する。
• 理論的なレート・ディストーショントレードオフに従って、重要度が低い重みを段階的に削除する逐次的 pruning を適用する。
• エンタロピー符号化を用いて、圧縮モデルの最小長のバイナリ表現を導入し、レート成分を最小化する。
• レート・ディストーション目的関数の微分可能近似を用いて、pruning ポリシーをエンド・ツー・エンドで学習する。
• pruning と エンタロピー符号化を統合した一貫した圧縮パイプラインを構築し、サイズと精度を同時に最適化する。
• モデル性能を維持しながら圧縮効率を最大化するための段階的 pruning 策略を採用する。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠が乏しいにもかかわらず、なぜ pruning は高圧縮比であっても最小限の精度損失で機能するのか？
• RQ2 レート・ディストーション理論は、ニューラルネットワーク pruning の理解と改善のための原理的フレームワークを提供できるか？
• RQ3 エンタロピー符号化はどのように pruning パイプラインに効果的に統合され、モデルサイズを最小化できるか？
• RQ4 スパarsity と 表現効率の両方を最適化した場合のモデル圧縮の理論的限界は何か？
• RQ5 統合的でエンド・ツー・エンドの圧縮フレームワークは、従来の pruning 僅での手法やヒューリスティック圧縮手法を上回ることができるか？

主な発見

• 提案手法は、評価されたすべてのデータセットとアーサイテクチャにおいて、従来の pruning 策略と比較して、圧縮モデルのサイズを 2.5× 小さくした。
• pruning と エンタロピー符号化の統合により、pruning 僅での場合と比較して顕著に小さなモデルサイズが達成され、表現効率の重要性が示された。
• レート・ディストーションフレームワークは、特に高圧縮比において pruning がうまく機能する理由を理論的根拠として提供した。
• MNIST、CIFAR-10、ImageNet においても、競争的な精度を維持しており、高圧縮が性能を損なわないことを示した。
• レート・ディストーション理論に従った逐次的 pruning は、精度の著しい低下を伴わずに、標準的な pruning ベースラインを上回るモデルサイズ削減を達成した。