[論文レビュー] Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions

Murad Tukan, Loay Mualem+1 more|arXiv (Cornell University)|Sep 18, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、コアセットと凸幾何学を用いて、データに依存しない理論的根拠に基づく深層ニューラルネットワークのプルーニング手法を提案する。Löwner楕円とCarathéodoryの定理を活用し、データやモデル重みに関する仮定を一切用いずにニューロンの重要度を計算する。最小限の精度低下で最先端の圧縮を達成しており、例としてResNet50/ImageNetでは62%の圧縮率を達成し、精度低下はたったの1.09%にとどまる。

ABSTRACT

Pruning is one of the predominant approaches for compressing deep neural networks (DNNs). Lately, coresets (provable data summarizations) were leveraged for pruning DNNs, adding the advantage of theoretical guarantees on the trade-off between the compression rate and the approximation error. However, coresets in this domain were either data-dependent or generated under restrictive assumptions on both the model's weights and inputs. In real-world scenarios, such assumptions are rarely satisfied, limiting the applicability of coresets. To this end, we suggest a novel and robust framework for computing such coresets under mild assumptions on the model's weights and without any assumption on the training data. The idea is to compute the importance of each neuron in each layer with respect to the output of the following layer. This is achieved by a combination of Löwner ellipsoid and Caratheodory theorem. Our method is simultaneously data-independent, applicable to various networks and datasets (due to the simplified assumptions), and theoretically supported. Experimental results show that our method outperforms existing coreset based neural pruning approaches across a wide range of networks and datasets. For example, our method achieved a $62\%$ compression rate on ResNet50 on ImageNet with $1.09\%$ drop in accuracy.

研究の動機と目的

• 訓練データやモデル重みの分布に関する制限的な仮定に依存する既存のコアセットベースのプルーニング手法の限界を解消すること。
• 理論的に整合性があり、多様なネットワークやデータセットに応用可能なプルーニングフレームワークの構築。
• 重みベクトルの幾何的性質から導出されるニューロンの重要度を用いて、データに依存しないプルーニングを実現すること。
• 高い圧縮率と推論速度を維持しつつ、近似誤差に関する理論的保証を確保すること。

提案手法

• 各層のニューロンを、その重みベクトルとして高次元空間上の点として表現する。
• ニューロン重みベクトルの凸包を近似するためにLöwner楕円を適用し、それらの幾何的分布を捉える。
• Carathéodoryの定理を用いて、次の層の出力を近似できる少数のニューロン（コアセット）を同定する。
• 幾何的寄与度に基づいて選択されたニューロンにサンプリング重みを割り当て、近似誤差が有界であることを保証する。
• 各層を独立してコアセットを構築することで、データ依存性のないエンドツーエンドのプルーニングを可能にする。
• ネットワーク全体の訓練および微調整パイプラインにコアセットベースのプルーニングを統合し、性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 訓練データやモデル重みの分布に関する仮定に依存せずに、効果的なニューラルネットワークのプルーニングを達成できるか？
• RQ2 凸幾何学とコアセット理論を活用することで、理論的に根拠があり、データに依存しない形でニューロンの重要度を定義できるか？
• RQ3 幾何的コアセットを用いたプルーニングにおける、圧縮率と精度損失のトレードオフはいかなるものか？
• RQ4 アーキテクチャの面でも、既存のコアセットベースのプルーニング手法と比較して、精度と一般化性能の面で優れているか？

主な発見

• 提案手法は、ResNet50/ImageNetにおいて62%の圧縮率を達成し、トップ-1精度はわずか1.09%低下にとどまり、既存のコアセットベース手法を上回る性能を示した。
• 本手法は完全にデータに依存せず、訓練データや入力統計情報のアクセスなしにプルーニングが可能である。
• 実験では、コアセット構築が強い近似保証を維持しており、コアセットサイズが大きくなるに従い、平均加法誤差が減少することが確認された。
• 本手法が誘導するサンプリング分布は長い尾部を示しており、高影響力のニューロンの選択を促進していることが、[82]との比較で裏付けられた。
• プルーニング後の微調整では精度が安定して向上し、VGG19/CIFAR10においては18エポック目にはベースライン手法を上回った。
• 理論的境界よりも著しく小さいコアセットサイズでも本手法は有効であることが示され、実用的なロバストネスが裏付けられた。