[論文レビュー] Structured Deep Neural Network Pruning via Matrix Pivoting

Ranko Sredojević, Shaoyi Cheng+3 more|arXiv (Cornell University)|Dec 1, 2017

Neural Networks and Applications参考文献 11被引用数 8

ひとこと要約

本論文は、行列ピボットを用いて置換ブロック置換（PBP）形式に変換することで、エッジGPU上で効率的なスパース行列ベクトル乗算を実現する構造的プルーニング手法を提案する。このアプローチにより、係数を低減しつつ近似線形のスループット向上が達成され、メモリ帯域幅の利用効率を向上させ、ハードウェアに最適化された最適化を可能にし、ベンダー最適化ライブラリを上回る性能を発揮する。

ABSTRACT

Deep Neural Networks (DNNs) are the key to the state-of-the-art machine vision, sensor fusion and audio/video signal processing. Unfortunately, their computation complexity and tight resource constraints on the Edge make them hard to leverage on mobile, embedded and IoT devices. Due to great diversity of Edge devices, DNN designers have to take into account the hardware platform and application requirements during network training. In this work we introduce pruning via matrix pivoting as a way to improve network pruning by compromising between the design flexibility of architecture-oblivious and performance efficiency of architecture-aware pruning, the two dominant techniques for obtaining resource-efficient DNNs. We also describe local and global network optimization techniques for efficient implementation of the resulting pruned networks. In combination, the proposed pruning and implementation result in close to linear speed up with the reduction of network coefficients during pruning.

研究の動機と目的

• モバイルやIoTシステムなどのリソース制約のあるエッジデバイスに計算負荷の高い深層ニューラルネットワーク（DNN）を導入する課題に対処すること。
• DNNプルーニングで一般的に見られる中程度のスパarsity（5–25％のフィルイン）を扱う際、一般化されたスパース行列ライブラリの非効率性を克服すること。
• アーキテクチャに依存しないプルーニングとアーキテクチャに配慮した最適化のギャップを埋めるために、ハードウェア実行パターンと互換性を持つ構造的スパarsityモデルを導入すること。
• 単層および多層全結合（FC）層の両方の最適化を通じて、最新の組み込みおよびモバイルGPU上で効率的で低遅延の推論を実現すること。
• 行列ピボットによる構造的スパarsityが、モデルの精度を保持しつつ、著しく推論速度を向上させることを実証すること

提案手法

• スパース重み行列を構造的スパarsityを持つブロックに再編成することで、不規則なメモリアクセスを最小限に抑える置換ブロック置換（PBP）行列表現を導入する。
• プルーニング段階で静的行列ピボットを適用し、任意のスパース重み行列をPBP形式に変換することで、GPU実行に適した形式を実現する。
• PBP構造を活用した局所最適化戦略を単層FC層に適用し、メモリアクセスのオーバーヘッドを低減する。
• 連続するFC層にわたってPBP構造を保持する多層コンパイラ最適化を設計し、階層間のメモリアクセスコalescingを可能にする。
• NVIDIA Jetson TX1 やARM Mali T880 などの最新GPUアーキテクチャに最適化された、PBP形式のスパース行列ベクトル乗算（gemv）用カスタムカーネルを実装する。
• パフォーマンス比較のベースラインとして、ベンダー最適化ライブラリ（cuBLAS、cuSPARSE、Arm Compute Library）を用いる。

実験結果

リサーチクエスチョン

• RQ1 行列ピボットによる構造的スパarsityは、エッジGPU上で推論の近似線形スループット向上を実現しつつ、高いモデル精度を維持できるか？
• RQ2 PBP表現は、CSR や BRC といった標準的なスパース形式と比較して、メモリ帯域幅の利用効率をどのように向上させるか？
• RQ3 PBP変換における置換オーバーヘッドが、小規模または高スパarsityの行列において性能に与える影響はどの程度か？
• RQ4 PBPに基づくプルーニングと最適化戦略は、実世界のエッジ推論シナリオにおいて、ベンダー最適化ライブラリの密度型およびスパース型線形代数ライブラリを上回る性能を発揮できるか？
• RQ5 トレーニング段階でPBP構造を強制することで、MNIST や CIFAR-10 といった標準的なビジョンベンチマークで顕著な精度低下が生じるか？

主な発見

• PBPベースのアプローチは、NVIDIA Jetson TX1 および ARM Mali T880 両方で係数低減を伴う近似線形のスループット向上を達成し、4096×4096行列サイズかつ3.125％のフィルイン率で、cuBLAS比14.09倍、cuSPARSE比9.26倍のスループット向上を実現した。
• Jetson TX1 では、PBP gemvカーネルが100％のロードおよびストア効率を達成し、密度型行列乗算と同等の性能を発揮した。一方、標準的なCSR形式ではストア効率がたった12.5％にとどまった。
• フィルイン率6.25％～12.5％、かつ行列サイズが128×128以上の場合、置換オーバーヘッドは無視できるほど小さい（カーネル実行時間の50％未満）、典型的なFC層のスパarsityに実用的であることが示された。
• MNISTではPBPプルーニングが元のネットワーク精度の100％を維持した。CIFAR-10では0.5％以内の精度低下に留まり、性能低下が最小限であることが示された。
• PBP形式は、特に6.25％～25％のフィルイン率範囲で顕著なパフォーマンス向上をもたらした。この範囲では、一般化されたスパースライブラリがメモリアクセスパターンの悪さにより性能を発揮できなかった。
• リソース利用状況の測定結果から、PBPカーネルはGPUで100％のロードおよびストア効率を達成した。これに対して、CSR（12.5％のストア効率）やBRC（12.52％のロード効率）形式は顕著に劣った。