[論文レビュー] A Unified Paths Perspective for Pruning at Initialization

Thomas Gebhart, Udit Saxena+1 more|arXiv (Cornell University)|Jan 26, 2021

Stochastic Gradient Optimization Techniques参考文献 15被引用数 10

ひとこと要約

本稿では、ニューラルタングエントランスカーネル（Neural Tangent Kernel）のデータに依存しない分解であるパスカーネルを導入し、ニューラルネットワークの学習ダイナミクスにおけるアーキテクチャ効果を捉える。パス共分散構造の分析を通じて、初期化時プルーニング手法を統一し、学習開始以前に収束性および一般化性能を予測可能にし、MNIST、CIFAR-10、CIFAR-100における実験的検証で、より広いネットワークにおける幅に強いプルーニング変種（例：SynFlow-L2）の性能向上を示した。

ABSTRACT

A number of recent approaches have been proposed for pruning neural network parameters at initialization with the goal of reducing the size and computational burden of models while minimally affecting their training dynamics and generalization performance. While each of these approaches have some amount of well-founded motivation, a rigorous analysis of the effect of these pruning methods on network training dynamics and their formal relationship to each other has thus far received little attention. Leveraging recent theoretical approximations provided by the Neural Tangent Kernel, we unify a number of popular approaches for pruning at initialization under a single path-centric framework. We introduce the Path Kernel as the data-independent factor in a decomposition of the Neural Tangent Kernel and show the global structure of the Path Kernel can be computed efficiently. This Path Kernel decomposition separates the architectural effects from the data-dependent effects within the Neural Tangent Kernel, providing a means to predict the convergence dynamics of a network from its architecture alone. We analyze the use of this structure in approximating training and generalization performance of networks in the absence of data across a number of initialization pruning approaches. Observing the relationship between input data and paths and the relationship between the Path Kernel and its natural norm, we additionally propose two augmentations of the SynFlow algorithm for pruning at initialization.

研究の動機と目的

• 多様な初期化時プルーニング手法を統一的な理論的枠組みで統合すること。
• ニューラルタングエントランスカーナルを、データに依存しない（パスカーネル）およびデータに依存する成分に分解し、学習ダイナミクスを分析すること。
• アーキテクチャ情報のみを用いて、トレーニング開始以前にネットワークの収束性および一般化性能を予測すること。
• パスカーネルの構造を活用して、SynFlowなどの既存のプルーニングアルゴリズムを改善すること。
• アーキテクチャおよび圧縮比にかかわらず、データフリーなプルーニング効果の評価を可能にすること。

提案手法

• 同次的活性化関数を有するニューラルネットワークにおけるパス活性化の対称的共分散行列としてパスカーネルを導入する。
• ニューラルタングエントランスカーネルを、パスカーネルとデータに依存する項の積に分解する。
• パスカーネルが学習ダイナミクスにおけるグローバルなアーキテクチャ的影響を捉えており、データなしで収束性を予測可能であることを示す。
• 既存のプルーニング手法（例：SynFlow）をパス中心のフレームワークに再定式化し、それらがパス共分散に内蔵された依存性を明らかにする。
• パスカーネルのノルムおよび構造に基づき、2つの新しいプルーニング変種（SynFlow-L2および分布的変種）を提案する。
• 全結合層、VGG、ResNetアーキテクチャを用いたMNIST、CIFAR-10、CIFAR-100で、予測の実験的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習ダイナミクスにおけるアーキテクチャ的影響とデータ依存的影響を分離するため、ニューラルタングエントランスカーネルをどのように分解できるか？
• RQ2 パス共分散構造が、初期化時におけるプルーニングされたネットワークの収束性および一般化性能を決定づける役割を果たすか？
• RQ3 既存の初期化時プルーニング手法が、パスカーネルの固有構造にどのように暗黙的に依存しているか？
• RQ4 パスカーネルを用いて、トレーニングやデータアクセスなしにプルーニング手法の性能を予測可能か？
• RQ5 パスカーネルに基づくSynFlowの変更が、モデルの幅および圧縮比にわたるロバストネスをどのように向上させるか？

主な発見

• パスカーネルは、入力データを必要としないネットワーク収束ダイナミクスの近似を提供し、入力データなしで学習行動を予測可能である。
• SynFlow-L2は、より広いネットワーク（例：FC-1000、FC-2000）において、標準的なSynFlowを上回る性能を示し、幅に強いという理論的予測を裏付けた。
• 分布的プルーニング変種は非分布的変種に比べて性能が劣り、パス値の大きさがパス分布よりも予測に優れていることを示唆した。
• ResNet20はVGG-11/VGG-16と比較して、高スパarsity条件下でもより安定しており、層の崩壊を回避した。
• パスカーネルの固有構造は一般化性能と強く相関しており、プルーニング効果の早期評価が可能である。
• このフレームワークは初期化に限らず一般化可能であり、任意のトレーニング段階でパス共分散分析を可能にし、モデル解釈や表現分析に応用可能である。