[論文レビュー] Data-Dependent Coresets for Compressing Neural Networks with Applications to Generalization Bounds

Cenk Baykal, Lucas Liebenwein+3 more|arXiv (Cornell University)|Apr 15, 2018

Neural Networks and Applications被引用数 48

ひとこと要約

本論文は CoreNet を提案する。重みの重要性サンプリングによって訓練済みの全結合ニューラルネットワークをスパース化するコアセットベースの手法であり、出力近似の保証と新しい汎化境界を提供します。

ABSTRACT

We present an efficient coresets-based neural network compression algorithm that sparsifies the parameters of a trained fully-connected neural network in a manner that provably approximates the network's output. Our approach is based on an importance sampling scheme that judiciously defines a sampling distribution over the neural network parameters, and as a result, retains parameters of high importance while discarding redundant ones. We leverage a novel, empirical notion of sensitivity and extend traditional coreset constructions to the application of compressing parameters. Our theoretical analysis establishes guarantees on the size and accuracy of the resulting compressed network and gives rise to generalization bounds that may provide new insights into the generalization properties of neural networks. We demonstrate the practical effectiveness of our algorithm on a variety of neural network configurations and real-world data sets.

研究の動機と目的

• 訓練済みの全結合ネットワークの実用的な圧縮を動機づけ、ストレージと推論コストを削減する。
• ユーザーが指定する誤差までネットワーク出力を保持する、原理的なコアセットベースのスパース化手法を開発する。
• 圧縮後のネットワークサイズ、近似精度、関連する汎化境界について理論的保証を提供する。
• 従来のコアセットをデータ点の削減ではなくパラメータ削減へ拡張する。

提案手法

• 高確率で出力を $(1\pm\u001epsilon)$-近似させるためのネットワークパラメータの $(\epsilon, \delta)$-コアセットを定義する。
• 新規の経験的感度測度を用いたネットワークエッジ上の重要度サンプリング手法を導入する。
• データ部分集合からキャッシュされた活性化を用いてニューロンごとのエッジ感度を計算し、無偏再重み付けでエッジのスパース化を行う。
• 符号付き結合を扱うため、正の重みと負の重みを別々にスパース化し、結果を統合する。
• CoreNet+（ニューロン剪定）と CoreNet++（複数のコアセットによる増幅）を追加して圧縮率を改善する。
• 層間の近似保証とコアサンプリングを結ぶ理論解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 コアセットベースのアプローチは、指定された誤差限界内で出力を保持しつつニューラルネットワークのパラメータをスパース化できるか。
• RQ2 データ依存のコアセットを用いるパラメータ削減で、圧縮後のネットワークサイズと汎化に関する理論的保証は何か。
• RQ3 エッジ単位の重要度サンプリングは、一様サンプリングやノルムベースのスパース化と比較して精度保持にどのように寄与するか。
• RQ4 ニューロン剪定や増幅といった拡張は、保証を損なうことなく圧縮を有意に改善するか。
• RQ5 データセットとアーキテクチャを跨いで、精度と圧縮比の観点で手法はどのように機能するか。

主な発見

• CoreNet は訓練済みの全結合ネットワークを MNIST と FashionMNIST で元のサイズの約15%、CIFAR-10 で約50%にスパース化し、精度低下は最小限に抑える。
• 経験的感度ベースのサンプリングは、試験対象のアーキテクチャとデータセット全体で、均一サンプリングやノルムベースの行列スパース化よりも圧縮性能が良い。
• 本手法は、圧縮後のネットワーク出力が元の出力と所定の相対誤差内であることを確率的に保証する。
• CoreNet+、ニューロン剪定を追加したもの、CoreNet++、増幅を含むものは、理論的保証を損なうことなくさらなる圧縮を改善する。
• 結論として、提案手法によって圧縮されたネットワークの汎化性能を結びつける一般化境界が確立され、経験的感度と汎化性能が関連づけられる。