[論文レビュー] A Pre-defined Sparse Kernel Based Convolution for Deep CNNs

Souvik Kundu, Saurav Prakash+3 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Neural Network Applications参考文献 29被引用数 4

ひとこと要約

本稿では、トレーニング前に2次元フィルターコンボリューションカーネル内のゼロパターンを固定する、事前に定義されたスパースカーネルに基づくpSConvを提案する。これにより、最小限の精度損失でモデルの複雑さを顕著に低減できる。CIFAR-10およびTiny ImageNetにおいて、最大4.24倍のパラメータ削減と70%のFLOP削減を達成し、同等の複雑さ制約下でShuffleNetを3–4%上回る精度を実現する。

ABSTRACT

The high demand for computational and storage resources severely impede the deployment of deep convolutional neural networks (CNNs) in limited-resource devices. Recent CNN architectures have proposed reduced complexity versions (e.g. SuffleNet and MobileNet) but at the cost of modest decreases inaccuracy. This paper proposes pSConv, a pre-defined sparse 2D kernel-based convolution, which promises significant improvements in the trade-off between complexity and accuracy for both CNN training and inference. To explore the potential of this approach, we have experimented with two widely accepted datasets, CIFAR-10 and Tiny ImageNet, in sparse variants of both the ResNet18 and VGG16 architectures. Our approach shows a parameter count reduction of up to 4.24x with modest degradation in classification accuracy relative to that of standard CNNs. Our approach outperforms a popular variant of ShuffleNet using a variant of ResNet18 with pSConv having 3x3 kernels with only four of nine elements not fixed at zero. In particular, the parameter count is reduced by 1.7x for CIFAR-10 and 2.29x for Tiny ImageNet with an increased accuracy of ~4%.

研究の動機と目的

• リソース制限のあるエッジデバイスにおけるディープCNNの高い計算およびストレージ要件に対処すること。
• 畳み込みカーネルに事前に定義されたスパarsity機構を導入することで、モデル圧縮における精度-複雑さトレードオフを改善すること。
• ハードウェアおよびソフトウェアの実装を簡素化するように、カーネルスパarsityを構造的に設計することで、効率的なトレーニングと推論を可能にすること。
• 畳み込みニューラルネットワーク（CNN）において、事前に定義されたスパarsityが、CNN固有の空間的スパarsityを有するにもかかわらず、全結合層と同等の効果を示すかどうかを検証すること。

提案手法

• pSConvは、2次元畳み込みカーネルに固定された事前定義されたスパースパターンを用いる。ここで、カーネル重みの一部（カーネルサポート）のみが非ゼロであり、トレーニングおよび推論中も変化しない。
• 3×3カーネルごとに、非ゼロ要素の数を9個中2個、4個、または9個に制限し、ゼロの位置は擬似ランダムに選択され、固定される。
• 本手法は、CIFAR-10およびTiny ImageNet上でResNet18およびVGG16アーキテクチャに適用され、標準的な畳み込み層をpSConv層に置き換える。
• 本手法はグループワイズおよびポイントワイズ畳み込みとは直交しており、将来のアーキテクチャ探索への統合が可能である。
• 標準的な最適化を用いてエンドツーエンドでトレーニングが行われるが、スパarsityはプルーニングではなく、固定されたカーネルパターンによって強制される。
• 構造的で予測可能な接続パターンが得られ、ソフトウェアおよびハードウェアのデプロイメントを効率化できる。

実験結果

リサーチクエスチョン

• RQ1 2次元畳み込みにおける事前に定義されたスパースカーネルパターンは、精度を劣化させることなく、モデルの複雑さを顕著に低減できるか？
• RQ2 ShuffleNetなどの最先端の軽量CNNと比較して、pSConvは精度およびパラメータ/FLOP削減の観点でどのように差をつけるか？
• RQ3 CNNにおいて、事前に定義されたスパarsityは、CNN固有の空間的スパarsityを有するにもかかわらず、全結合層と同様の利点をもたらすか？
• RQ4 VGG16やResNet18のようなより深いアーキテクチャに適用した場合、pSConvはトレーニング収束性およびモデル性能を維持できるか？
• RQ5 pSConvにおける最適なカーネルサポートサイズ（非ゼロ要素数）は、複雑さの低減と精度のバランスを取るためにどれほどか？

主な発見

• CIFAR-10では、pSConvを適用したResNet18でカーネルサポートサイズ2を用いた場合、パラメータを3.27倍削減し、ShuffleNetよりも3.3%高い精度を達成した。
• Tiny ImageNetでは、pSConvを用いたResNet18でカーネルサポートサイズ4を用いた場合、パラメータを2.29倍削減し、ShuffleNetよりも約3%高い精度を達成した。
• CIFAR-10におけるVGG16では、pSConvによりパラメータを最大34.0%、FLOPsを最大75.4%削減でき、テスト精度はわずか1.4%低下した。
• Tiny ImageNetにおけるVGG16では、pSConvによりパラメータを最大28.1%、FLOPsを最大78.4%削減でき、テスト精度は2.4%低下した。
• pSConvモデルのトレーニング収束曲線は、標準モデルと密接に一致しており、安定した最適化が実現していることが示された。
• 本手法により、FLOPsを最大70%削減でき、精度損失はほとんどないため、優れた複雑さ-性能トレードオフが実現された。