[論文レビュー] PCNN: Pattern-based Fine-Grained Regular Pruning towards Optimizing CNN Accelerators

Zhanhong Tan, Jiebo Song+9 more|arXiv (Cornell University)|Feb 11, 2020

Advanced Neural Network Applications参考文献 17被引用数 7

ひとこと要約

PCNNは、コンvolutionカーネルレベルのスパarsityを符号化するための新規なスパarsityパターンマスク（SPM）インデックス形式を用いた、細粒度で規則的な1次元重みプルーニング手法を提案する。これにより、効率的なハードウェアデプロイメントが可能となり、55nm実装で最大9.0×の高速化と28.39 TOPS/Wの効率を達成。オンチップメモリオーバーヘッドは3.1%に留まり、VGG-16およびResNet-18では0.2%未満の精度損失にとどまる。

ABSTRACT

Weight pruning is a powerful technique to realize model compression. We propose PCNN, a fine-grained regular 1D pruning method. A novel index format called Sparsity Pattern Mask (SPM) is presented to encode the sparsity in PCNN. Leveraging SPM with limited pruning patterns and non-zero sequences with equal length, PCNN can be efficiently employed in hardware. Evaluated on VGG-16 and ResNet-18, our PCNN achieves the compression rate up to 8.4X with only 0.2% accuracy loss. We also implement a pattern-aware architecture in 55nm process, achieving up to 9.0X speedup and 28.39 TOPS/W efficiency with only 3.1% on-chip memory overhead of indices.

研究の動機と目的

• 不規則な重みプルーニングによるハードウェア上のインデックスオーバーヘッドとワークロードのアンバランスの低減。
• CNNアクセラレータにおけるメモリおよび計算オーバーヘッドを低減しながら、高いモデル精度を維持すること。
• 並列処理ユニット間でのワークロード分散を均等にするための規則的で細粒度のプルーニング手法の開発。
• ビット幅とストレージ要件を低減するコンパクトなインデックス形式（SPM）によるハードウェアフレンドリーなスパarsity符号化の実現。
• チャネルプルーニングやカーネルプルーニングなどの他の圧縮技術と併用可能であり、より高い全体的な圧縮率を達成することの確認。

提案手法

• 各コンボリューションカーネル内の非ゼロ重みのパターンを1つのインデックスで符号化する、カーネルレベルのインデックス形式としてのスパarsityパターンマスク（SPM）を導入。
• 特定のレイヤー内のすべてのカーネルに対して同一のスパarsity（非ゼロ重み数）を強制することで、規則性とワークロードのバランスを確保。
• 複数のナップサックフレームワークを用いて、一意なスパarsityパターンの数を縮小し、SPMのビット幅とインデックスストレージコストを最小化。
• 55nmプロセス技術に適合したパターン認識型アクセラレータアーキテクチャを設計。SPMで符号化された重みと活性化をマッピングするための特別なメモリ最適化を実装。
• SPMベースのインデックス形式を用いて、スパース重みとスパース活性化を同時に処理可能なスパarsity対応PEアレイを設計。
• 既存のプルーニング手法（例：チャネルプルーニングやカーネルプルーニング）とPCNNを統合し、直交的かつ累積的な圧縮利得を実現。

実験結果

リサーチクエスチョン

• RQ1 細粒度で規則的なプルーニング手法は、ハードウェアのインデックスオーバーヘッドを低減しつつ、高いモデル精度を維持できるか？
• RQ2 カーネルレベルのスパarsityパターンは、CNNアクセラレータにおけるメモリおよび面積オーバーヘッドを最小限に抑えるために、どのようにコンパクトに符号化できるか？
• RQ3 均一なカーネルスパarsityを用いた規則的プルーニングによって、並列処理ユニット間のワークロードバランスはどの程度向上できるか？
• RQ4 提案されたSPMベースのプルーニング手法は、最小限のパフォーマンスおよびエネルギーコストでハードウェアに効率的にマッピング可能か？
• RQ5 チャネルプルーニングなどの他の圧縮技術と組み合わせた場合、PCNN手法の圧縮比および精度はどのように変化するか？

主な発見

• PCNNは、VGG-16およびResNet-18で最大8.4×のモデル圧縮を達成し、精度損失は0.2%にとどまる。
• 55nmプロセスで実装されたパターン認識型アクセラレータは、最大9.0×の高速化と28.39 TOPS/Wのエネルギー効率を達成。インデックスのオンチップメモリオーバーヘッドはわずか3.1%。
• 不規則なプルーニングと比較して、SPMインデックス形式はインデックスストレージオーバーヘッドを低減。1レイヤーあたり16パターンの場合、メモリオーバーヘッドはたったの3.1%。
• PCNNはチャネルおよびカーネルレベルのプルーニングと直交的であり、VGG-16では組み合わせ圧縮比が最大34.4×に達し、精度損失は無視できるほど小さい。
• アーキテクチャは高い並列性と効率性を維持。88.9%のスパarsityでも28.39 TOPS/Wを達成し、優れたハードウェア効率を示した。
• パターンSRAMはチップ面積の2.4%、消費電力の1.9%しか占めず、インデックスストレージのためのハードウェアフットプリントが最小限であることが確認された。