[論文レビュー] Data-Independent Structured Pruning of Neural Networks via Coresets

Ben Mussay, Daniel E. Feldman+3 more|arXiv (Cornell University)|Aug 19, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 4

ひとこと要約

本稿では、コアセットフレームワークを用いたデータに依存しない構造的プルーニング手法を提案し、任意の入力（敵対的例を含む）に対して近似誤差の保証を明示的に与える。層ごとにニューロン／フィルタのコアセットを構築することで、高い圧縮率と強力な理論的保証を達成するとともに、従来の手法よりも高速な訓練を実現する。

ABSTRACT

Model compression is crucial for deployment of neural networks on devices with limited computational and memory resources. Many different methods show comparable accuracy of the compressed model and similar compression rates. However, the majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient structured pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework and it approximates the output of a layer of neurons/filters by a coreset of neurons/filters in the previous layer and discards the rest. We apply this framework in a layer-by-layer fashion from the bottom to the top. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one.

研究の動機と目的

• 未学習または敵対的入力に対する近似誤差の最悪ケース保証が欠如している既存のモデル圧縮手法の課題に対処すること。
• 圧縮率と近似誤差の間の保証可能なトレードオフを実現する構造的プルーニングフレームワークを開発すること。
• 最小限の微調整で効率的なワンショット圧縮を可能にするために、圧縮モデルの初期近似を向上させること。
• データに依存しないことを保証し、訓練データや検証データに限定されない、あらゆる入力で信頼性が保証されること。
• 理論的保証と実用的効率性を統合し、リソース制約のあるデバイスにおける実世界の展開を可能にすること。

提案手法

• 本手法は、ニューラルネットワークの各層にコアセットフレームワークを適用し、ニューロンやフィルタを近似すべき点とみなす。
• 各層に対して、直前の層のニューロン／フィルタのコアセットを構築し、それが現在の層の出力を保証的に近似することを目的とする。
• コアセットアルゴリズムは、ニューロン／フィルタの部分集合を選択し、近似品質を維持するためにそれらに新しい重みを割り当てる。
• フレームワークはネットワークの下流から上流へ層ごとに適用され、エンドツーエンドの圧縮が可能になる。
• 全結合層および畳み込み層の両方をサポートし、ReLUなどの一般的な活性化関数に対応するコアセット構築法を別途定義する。
• 本手法はワンショットかつデータに依存せず、保証を得るために訓練データの分布に依存しない。

実験結果

リサーチクエスチョン

• RQ1 構造的プルーニング手法は、任意の入力（敵対的例を含む）に対して近似誤差の保証可能な最悪ケース保証を提供できるか？
• RQ2 コアセットフレームワークはニューラルネットワークのプルーニングにどのように適合可能か？ これにより、高い圧縮率と強い理論的バウンドを両立できるか？
• RQ3 データに依存しないプルーニング手法は、未学習入力へのロバストネスと一般化性能において、データに依存する手法を上回るか？
• RQ4 高品質な初期近似は、圧縮モデルにおける微調整時間にどの程度の短縮効果をもたらすか？
• RQ5 コアセットベースのアプローチは、最先端の手法と同等の精度を達成しつつ、より強い理論的保証を提供できるか？

主な発見

• VGG-19 (CIFAR-10) において70%の圧縮率を達成し、微調整前のモデル精度が6.02%にとどまり、従来手法を上回る近似品質を示した。
• ResNet-56では40%の圧縮率を達成し、トップ1精度25.11%を記録。最先端の結果と同等またはそれを上回り、理論的保証を保証した。
• ResNet-50 (ImageNet) では62%のパラメータ削減を達成し、トップ1精度25.11%を記録。大規模モデルへのスケーラビリティを示した。
• コアセットによる初期近似のおかげで微調整時間が顕著に短縮された。図7では、ランダム初期化よりも精度の収束が速かった。
• VGG-19において、[36] より微調整前の精度向上で12%の向上を示し、初期モデル近似の優位性を裏付けた。
• フレームワークはワンショットかつ計算的に効率的で、コアセットの構築が高速かつ反復的精錬の必要が最小限に抑えられた。