[論文レビュー] Synaptic Strength For Convolutional Neural Network

Lin Chen, Zhao Zhong+2 more|arXiv (Cornell University)|Nov 6, 2018

Advanced Memory and Neural ComputingEngineering被引用数 16

ひとこと要約

この論文は、畳み込みニューラルネットワークにおける個々の特徴マップ間接続の重要性を定量化する新しいパラメータ「シナプス強度」を導入する。重みと入力の正規化を行い、この強度を pruning の基準として用いることで、CIFAR-10 において最大 96% の接続削除が可能となり、精度の低下を最小限に抑え、ImageNet においても既存手法に比べて精度保持性とスパarsity 効率の両面で優れている。

ABSTRACT

Convolutional Neural Networks(CNNs) are both computation and memory intensive which hindered their deployment in mobile devices. Inspired by the relevant concept in neural science literature, we propose Synaptic Pruning: a data-driven method to prune connections between input and output feature maps with a newly proposed class of parameters called Synaptic Strength. Synaptic Strength is designed to capture the importance of a connection based on the amount of information it transports. Experiment results show the effectiveness of our approach. On CIFAR-10, we prune connections for various CNN models with up to 96% , which results in significant size reduction and computation saving. Further evaluation on ImageNet demonstrates that synaptic pruning is able to discover efficient models which is competitive to state-of-the-art compact CNNs such as MobileNet-V2 and NasNet-Mobile. Our contribution is summarized as following: (1) We introduce Synaptic Strength, a new class of parameters for CNNs to indicate the importance of each connections. (2) Our approach can prune various CNNs with high compression without compromising accuracy. (3) Further investigation shows, the proposed Synaptic Strength is a better indicator for kernel pruning compared with the previous approach in both empirical result and theoretical analysis.

研究の動機と目的

• モバイルデプロイメントに向けた深層 CNN の高い計算およびメモリ要件に対処すること。
• 生物学的シナプス pruning をインspired したデータ駆動型でエンドツーエンドの pruning 法を開発すること。
• CNN における接続の重要性を測る新しいパラメータとして「シナプス強度」を導入すること。
• カーネルレベルのスパarsity を通じて、高精度かつ高圧縮率の CNN を実現すること。
• CIFAR-10 および ImageNet における評価を通じて、既存の pruning 技法を上回ることを示すこと。

提案手法

• シナプス強度は、正規化された入力特徴マップの活性化とカーネル重みの積として定義され、各接続における情報フローを捉える。
• 入力特徴およびカーネル重みの両方にバッチ正規化と L2 正規化を適用することで、シナプス強度の安定化とスケーリングを実現する。
• エンドツーエンド学習中に重要度の低い接続の pruning を促進するため、スパarsity 正則化項（λ）を導入する。
• 低シナプス強度に該当するカーネルをゼロ化することで pruning を実行し、カーネルレベルのスパースモデルを生成する。
• Winograd 卷積と互換性があり、スパarsity を維持したまま GPU 上での効率的な推論を可能にする。
• アブレーションスタディにより、γ（バッチ正規化のスケール）の除去とカーネル L2 正規化の両方がシナプス強度の定式化において不可欠であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型で生物学的インスピレーションを受ける pruning 法は、既存手法に比べてより高い圧縮率を達成できるか？
• RQ2 L1 範囲やグループ LASSO よりも、シナプス強度が接続の重要度をより正確に示す指標であるか？
• RQ3 Winograd 卷積を用いることで、カーネルレベルのスパース CNN は効率的に高速化できるか？
• RQ4 高い pruning 率において、精度とスパarsity のトレードオフの観点で、本手法はどのように性能を発揮するか？
• RQ5 正規化成分（γ およびカーネルノルム）の導入が、pruning 性能の向上に顕著に寄与するか？

主な発見

• CIFAR-10 では、最大 96% のシナプス接続が削除されても精度に変化がなく、高スパarsity 水準において既存手法を顕著に上回っている。
• 90% のスパarsity において、本手法は 1% 未満の精度低下に抑えられるのに対し、SSL を用いた手法では 1% を超える低下を示し、より優れたロバスト性を示している。
• ImageNet では、pruned ResNet-50 がトップ-1 誤差 25.32%、パラメータ数 5.9M で実現され、MobileNet-V2 や NasNet-Mobile と同等またはそれ以上の効率性を達成している。
• Winograd 領域での pruning と比較すると、本手法は 8 倍高いスパarsity（4%）を達成し、ほぼ同等の精度（6.23% 誤差 対 7.40%）を維持している。
• アブレーションスタディにより、γ 要因またはカーネル正規化を除去すると性能が低下することが確認され、シナプス強度の設計の妥当性が裏付けられた。
• 極めて高い pruning 率（例：97.5%）においても高精度を維持できることから、本手法は強力なロバスト性とスケーラビリティを有していることが示された。