[論文レビュー] An Information-Theoretic Justification for Model Pruning

Berivan Isik, Tsachy Weissman+1 more|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、レート・ドレスタンス理論に基づいた新しいニューラルネットワークのプルーニング手法SuRPを提案する。この手法は、モデル圧縮を、圧縮レートと出力歪みの情報理論的トレードオフとして定式化する。出力の摂動に基づく歪み指標と重み分布のモデル化を通じて、最適圧縮においてプルーニングが理論的に必要不可欠であることを示し、CIFAR-10およびImageNetにおいて、同等のスパarsityレベルで最先端のベースラインを上回る高い精度を達成した。

ABSTRACT

We study the neural network (NN) compression problem, viewing the tension between the compression ratio and NN performance through the lens of rate-distortion theory. We choose a distortion metric that reflects the effect of NN compression on the model output and derive the tradeoff between rate (compression) and distortion. In addition to characterizing theoretical limits of NN compression, this formulation shows that \emph{pruning}, implicitly or explicitly, must be a part of a good compression algorithm. This observation bridges a gap between parts of the literature pertaining to NN and data compression, respectively, providing insight into the empirical success of model pruning. Finally, we propose a novel pruning strategy derived from our information-theoretic formulation and show that it outperforms the relevant baselines on CIFAR-10 and ImageNet datasets.

研究の動機と目的

• ニューラルネットワーク圧縮と古典的データ圧縮のギャップを埋めるために、モデルプルーニングにレート・ドレスタンス理論を適用する。
• 出力摂動を反映する歪み指標下での、損失ありニューラルネットワーク圧縮の理論的限界を特定する。
• 最小歪みレートがスパースモデルを必要とすることを示すことにより、最適圧縮においてプルーニングが本質的に必要不可欠であることを理論的に正当化する。
• スコアに基づくヒューリスティクスを用いない情報理論的基準にのみ依存する、新しいプルーニング戦略—SuRP—を考案する。

提案手法

• 重み圧縮に起因するニューラルネットワーク出力の摂動を上界付ける歪み指標を定義する。
• 現実のパrameter統計を反映するために、重み分布を重尾分布でモデル化する。
• 選択した歪みと分布のためのレート・ドレスタンス関数を導出し、圧縮レートと出力歪みの理論的トレードオフを特徴付ける。
• 逐次的改善可能性を活用して、繰り返しプルーニングを通じてスパarsityを誘発する実用的圧縮アルゴリズムを設計する。
• 情報理論的基準のみを用いて、レート・ドレスタンスコストを最小化するプルーニング戦略であるSuRPを提案する。スコアに基づくヒューリスティクスを一切使用しない。
• CIFAR-10およびImageNetにおける実験を通じて、精度、スパarsity、ビットレートを複数のベースラインと比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 出力摂動を反映する歪み指標下での、ニューラルネットワーク圧縮の根本的理論的限界は何か？
• RQ2 最適ニューラルネットワーク圧縮においてなぜプルーニングが必要なのか？情報理論的にその根拠を示せるか？
• RQ3 レート・ドレスタンス理論に基づいて導出されたプルーニング戦略は、既存のスコアベースまたはヒューリスティクスベースのプルーニング手法を上回れるか？
• RQ4 標準ベンチマークにおいて、提案手法は最先端のベースラインと比較して、精度と圧縮効率の両面で優れているか？
• RQ5 同じ情報理論的フレームワークを、フェデレーテッドラーニングにおけるニューラルネットワーク勾配の圧縮に拡張可能か？

主な発見

• SuRPはCIFAR-10で最先端の性能を達成し、59%のプルーニング比で90.96%の精度、99.26%のプルーニング比で70.76%の精度を達成し、すべてのベースラインを上回った。
• ImageNetでは、80%のプルーニングで75.54%のトップ-1精度、90%のプルーニングで73.93%の精度を達成し、Adaptive、SNIP、DSR、SNFS、RiGLを上回った。
• ビットレート効率が優れており、ResNet-50を6.1 MB（16倍圧縮）に圧縮しながら76.4%の精度を維持した。Deep Comp.およびDeepCABACを上回った。
• LeNet-5では5 KB（344倍圧縮）で99.3%の精度を達成し、精度と圧縮比の両面でDeep Comp.およびDNSを上回った。
• 理論的分析により、定義された歪み指標下での最適圧縮がスパースモデルを必要とすることが確認され、プルーニングが効率的な圧縮スキームの必須要素であることが理論的に正当化された。
• この手法はフェデレーテッドラーニングにおける勾配圧縮にも一般化可能であり、通信効率の良いモデル学習のためのツールを提供する。