[論文レビュー] Data-Independent Neural Pruning via Coresets

Ben Mussay, Margarita Osadchy+3 more|arXiv (Cornell University)|Jul 9, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 7

ひとこと要約

本論文は、任意のテスト入力（敵対的入力も含む）に対して、圧縮率と近似誤差のトレードオフを証明可能に保証する、最初のデータに依存しないニューラルプルーニング手法を提案する。コアセットフレームワークにおいてニューロンを点として扱い、層ごとにプルーニングすることで、LeNet-300-100で90%の圧縮を達成し、MNISTの精度が向上した。これは、サンプリングベースのベースラインを上回り、微調整の速度も向上させた。

ABSTRACT

Previous work showed empirically that large neural networks can be significantly reduced in size while preserving their accuracy. Model compression became a central research topic, as it is crucial for deployment of neural networks on devices with limited computational and memory resources. The majority of the compression methods are based on heuristics and offer no worst-case guarantees on the trade-off between the compression rate and the approximation error for an arbitrarily new sample. We propose the first efficient, data-independent neural pruning algorithm with a provable trade-off between its compression rate and the approximation error for any future test sample. Our method is based on the coreset framework, which finds a small weighted subset of points that provably approximates the original inputs. Specifically, we approximate the output of a layer of neurons by a coreset of neurons in the previous layer and discard the rest. We apply this framework in a layer-by-layer fashion from the top to the bottom. Unlike previous works, our coreset is data independent, meaning that it provably guarantees the accuracy of the function for any input $x\in \mathbb{R}^d$, including an adversarial one. We demonstrate the effectiveness of our method on popular network architectures. In particular, our coresets yield 90\% compression of the LeNet-300-100 architecture on MNIST while improving the accuracy.

研究の動機と目的

• 既存のモデル圧縮手法に、特に敵対的入力下での証明可能な最悪ケース保証が欠けているという問題に対処すること。
• 訓練データの統計に依存しない、任意の将来のテストサンプルに対して精度の境界を保証するデータに依存しないプルーニングフレームワークを開発すること。
• 特にリソース制約のあるデプロイメント環境において、モデル精度を損なわず高い圧縮率を達成すること。
• スパース重み実装の複雑さを回避する計算効率の良い手法を提供すること。

提案手法

• この手法は、ニューラルネットワークの層内のニューロンをコアセットフレームワークにおける点として扱い、コアセット理論を用いて、全層出力を証明可能に近似する小規模で重み付きのサブセットを選択する。
• 上位から下位の順にネットワーク全体に対して、コアセット構築アルゴリズムを層ごとに適用し、ニューロンを選択して次の層への重みを更新する。
• コアセットのサイズは、望ましい近似誤差と理論的に関連づけられ、圧縮率と精度の間の証明可能なトレードオフを可能にする。
• 一般的な活性化関数（例：ReLU、シグモイド）に対して既知のコアセット構築法を活用することで、理論的保証を確保する。
• 既存のコアセットアルゴリズム（例：Braverman et al., 2016）をニューロン出力に適応し、任意の入力分布に対して耐性を持つようにする。
• プルーニング後、精度をさらに向上させるために微調整を実施し、均一サンプリングベースラインと比較して著しく短い訓練時間で完了した。

実験結果

リサーチクエスチョン

• RQ1 任意の入力（敵対的例も含む）に対して近似誤差の証明可能な保証を持つニューラルプルーニング手法を設計できるか？
• RQ2 このような手法は、訓練データの統計に依存せず、データに依存するものか？
• RQ3 コアセットベースのニューロン選択は、均一サンプリングやパーセンタイルベース選択と比較して、圧縮-精度トレードオフにおいてどのように異なるか？
• RQ4 実際の実装において、提案されたプルーニングフレームワークの計算効率はどの程度か？
• RQ5 特にVGG-16のような深層ネットワークにおいて、精度の低下を伴わず高い圧縮率を達成できるか？

主な発見

• 提案されたコアセットベースのプルーニングは、MNISTのLeNet-300-100アーキテクチャで90%の圧縮を達成しながら分類精度が向上した。
• すべての圧縮レベルにおいて、均一サンプリングおよびパーセンタイルベースのコアセット選択を上回り、平均近似誤差が著しく低かった。
• コアセットプルーニングモデルの微調整には、均一サンプリングベースラインの約半分の時間で完了し、訓練期間が短縮された。
• コアセット法は高い圧縮率でも高い精度を維持した一方で、均一サンプリングは同様の条件下で急激に精度が低下した。
• フレームワークは高速な計算を実現し、指定されたハードウェア上ではVGG-16の各全結合層を約56秒で圧縮した。
• 理論的分析により、コアセット近似が任意の入力 $ x \in \mathbb{R}^d $ に対して成り立つことが確認され、敵対的入力に対しても耐性があることが保証された。