[論文レビュー] N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections

Arvind R. Subramaniam, Avinash Sharma|arXiv (Cornell University)|Aug 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、初期化時にスパースで学習可能なニューロン同士のスキップ接続を追加することで、プルーニングされた深層ニューラルネットワークの接続性と性能を向上させるN2NSkipという手法を提案する。特に高いスパarsityレベルでも顕著な向上が得られ、標準的なプルーニング法や従来のスキップ接続を上回り、完全なネットワークと比較して接続性の損失が最小限に抑えられる。この有効性は、熱拡散に基づく接続性解析によって裏付けられている。

ABSTRACT

The over-parametrized nature of Deep Neural Networks leads to considerable hindrances during deployment on low-end devices with time and space constraints. Network pruning strategies that sparsify DNNs using iterative prune-train schemes are often computationally expensive. As a result, techniques that prune at initialization, prior to training, have become increasingly popular. In this work, we propose neuron-to-neuron skip connections, which act as sparse weighted skip connections, to enhance the overall connectivity of pruned DNNs. Following a preliminary pruning step, N2NSkip connections are randomly added between individual neurons/channels of the pruned network, while maintaining the overall sparsity of the network. We demonstrate that introducing N2NSkip connections in pruned networks enables significantly superior performance, especially at high sparsity levels, as compared to pruned networks without N2NSkip connections. Additionally, we present a heat diffusion-based connectivity analysis to quantitatively determine the connectivity of the pruned network with respect to the reference network. We evaluate the efficacy of our approach on two different preliminary pruning methods which prune at initialization, and consistently obtain superior performance by exploiting the enhanced connectivity resulting from N2NSkip connections.

研究の動機と目的

• 初期化時にプルーニングされた深層ニューラルネットワークにおける収束性の悪化と接続性の低さを解決すること。これは、接続性が疎であるため性能が著しく低下する傾向があるためである。
• モデル密度を増加させることなく、非連続なニューロン間のスパースで学習可能なスキップ接続を導入することで、プルーニングされたネットワークの有効な接続性を向上させること。
• 重み付き無向グラフ上の熱拡散を用いて、ネットワーク接続性の定量的測定法を確立し、プルーニングされたネットワークと基準ネットワークを比較可能にする。
• N2NSkipが異なるプルーニング手法（例：ランダムプルーニング、接続感受性プルーニング）および異なるアーキテクチャ（例：VGG19、ResNet50）にわたって一般化可能で、そのロバスト性を示すこと。

提案手法

• N2NSkipは、プルーニングされたネットワーク内の個々のニューロンまたはチャネル間でスパースで学習可能なスキップ接続を導入し、モデル全体のスパarsityを維持する。
• これらの接続は、ランダムプルーニングまたは接続感受性プルーニングを用いた初期プルーニングの後に行われ、ネットワーク全体と同時にエンドツーエンドで学習される。
• この手法は、エッジ重みが学習可能なスキップ接続パラメータに対応する重み付き無向グラフとしてプルーニングされたネットワークをモデル化する。
• 接続性は熱拡散を用いて定量化される：グラフの隣接行列から飽和した熱分布ベクトルが計算され、このベクトルと基準ネットワークのシグネチャとの差のフロベニウスノルムが接続性損失を測定する。
• プルーニングされたネットワークと基準ネットワークとの間の熱拡散シグネチャ差のフロベニウスノルムが、N2NSkip有無のネットワーク間の接続性を比較する指標として用いられる。
• N2NSkip接続はスパース畳み込み層として実装され、計算効率とパラメータ共有を維持しながらスパarsityを保持できる。

実験結果

リサーチクエスチョン

• RQ1 初期化段階でスパースで学習可能なスキップ接続を導入することで、高スパースな深層ニューラルネットワークの収束性と性能を向上させることができるか？
• RQ2 熱拡散を用いた接続性測定において、プルーニングされたネットワークの接続性は完全な基準ネットワークと比べてどの程度か？N2NSkipはこのギャップを最小限に抑えることができるか？
• RQ3 N2NSkipは、異なる初期プルーニング手法（例：ランダムプルーニング対接続感受性プルーニング）および異なるネットワークアーキテクチャに一般化可能か？
• RQ4 高スパarsityレベル下で、N2NSkipの性能は従来のスキップ接続（例：ResNetスタイル）と比較して、テスト精度および接続性の面で優れているか？
• RQ5 熱拡散に基づく接続性解析は、プルーニングモデルにおけるネットワーク性能を予測する信頼できる代理指標として機能するか？

主な発見

• CIFAR-10およびCIFAR-100において、N2NSkip-CSPおよびN2NSkip-RPは、20%密度下でベースライン（CSPおよびRP）と比較して最大2.1%のテスト精度向上を達成し、特に高スパarsity下で顕著な向上が見られた。
• ImageNet（ResNet50）において、N2NSkip-CSPは50%密度下でトップ-1精度74.59%を達成し、ベースラインのResNet50（74.70%）およびN2NSkip-RPバージョン（74.12%）を上回った。
• ImageNetにおいて20%密度下で、N2NSkip-CSPは72.09%の精度を達成し、ベースラインのCSP（68.67%）およびN2NSkip-RP（70.03%）を著しく上回った。
• N2NSkipバージョンでは、プルーニングされたネットワークと基準ネットワークとの間の熱拡散シグネチャ差のフロベニウスノルムが最小化されており、優れた接続性保持が示された。
• VGG19において、N2NSkip-RPは20倍圧縮下で接続性のずれ（フロベニウスノルム）を3.6×10⁻³から2.8×10⁻⁶にまで低減し、強力な接続性保持を示した。
• CIFAR-10およびCIFAR-100において、N2NSkipは全圧縮率において、ResNetスタイルのスキップ接続（ResSkip）よりも常に低いテスト誤差を達成しており、特に20倍および50倍圧縮下で顕著であった。