[論文レビュー] SBNet: Sparse Blocks Network for Fast Inference

Mengye Ren, Andrei Pokrovsky+2 more|arXiv (Cornell University)|Jan 7, 2018

Advanced Neural Network Applications参考文献 34被引用数 15

ひとこと要約

SBNetは、道路マップや予測された注目マップなどの構造的空間スパarsityを持つ計算マスクを活用することで、深層畳み込みニューラルネットワークの推論を高速化するタイリングベースのスパース畳み込みアルゴリズムを提案する。これにより、精度を損なわずに3D物体検出において顕著なウォルクロック高速化を実現する。KITTIベンチマークでは、密度型推論と比較して2.7倍の高速化を達成し、精度の低下は最小限に抑えられ、軽量マスクネットワークと組み合わせると相対的に26.6%の高速化が達成された。

ABSTRACT

Conventional deep convolutional neural networks (CNNs) apply convolution operators uniformly in space across all feature maps for hundreds of layers - this incurs a high computational cost for real-time applications. For many problems such as object detection and semantic segmentation, we are able to obtain a low-cost computation mask, either from a priori problem knowledge, or from a low-resolution segmentation network. We show that such computation masks can be used to reduce computation in the high-resolution main network. Variants of sparse activation CNNs have previously been explored on small-scale tasks and showed no degradation in terms of object classification accuracy, but often measured gains in terms of theoretical FLOPs without realizing a practical speed-up when compared to highly optimized dense convolution implementations. In this work, we leverage the sparsity structure of computation masks and propose a novel tiling-based sparse convolution algorithm. We verified the effectiveness of our sparse CNN on LiDAR-based 3D object detection, and we report significant wall-clock speed-ups compared to dense convolution without noticeable loss of accuracy.

研究の動機と目的

• 特徴マップ内の空間スパarsityを活用することで、自律走行などのリアルタイム応用を想定した深層畳み込みニューラルネットワークの計算コストを低減すること。
• 理論的FLOP削減をはるかに超える実際の高速化を実現する実用的なスパース畳み込みアルゴリズムを設計すること、特にGPU上で有効であることを目的とする。
• 入力解像度やモデル容量を低下させることなく、スパース推論を残差ネットワークに統合すること。
• 静的（道路マップ）および動的（予測された）計算マスクを用いて、LiDARベースの3D物体検出において本手法を評価すること。
• スパース推論が関連領域に計算を集中させることで、速度と精度の両方を向上させられることを実証すること。

提案手法

• 計算マスクをブロックに分割することでGPUメモリアクセスと並列性を最適化するタイリングベースのスパース畳み込みアルゴリズムを提案する。
• 事前知識（例：道路マップ）や軽量ネットワーク（例：PSPNet）から得られる二値計算マスクを用いてスパース計算を誘導する。
• スパースブロックを残差ユニットに統合し、残差学習を維持しながら推論を高速化する。
• 構造的スパarsityを活用し、メモリ帯域幅の圧迫を低減するように最適化されたGPUカーネルを実装する。
• 入力スパarsityに依存しないスパースバッチ正規化および正規化層を適用し、効率性と精度の両方を向上させる。
• スパース推論モジュールを、動的かつ柔軟なスパarsityを可能にする軽量マスク予測ネットワーク（例：PSPNet）と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 現代のGPU上で、計算マスク内の構造的空間スパarsityを活用することで、実際の測定可能な高速化を達成できるか？
• RQ2 タイリングベースの最適化を施したスパース畳み込みが、一般化されたスパース畳み込み実装と比較してウォルクロック速度と効率性において優れているか？
• RQ3 低解像度のマスクであっても、スパース推論が関連領域に計算を集中させることで、検出精度を向上させられるか？
• RQ4 残差ネットワークにスパースブロックを統合した場合、3D物体検出における速度と精度にどのような影響を与えるか？
• RQ5 動的マスクの生成に伴う計算オーバーヘッドはどの程度か？全体のシステムは依然として顕著な高速化を達成できるか？

主な発見

• KITTI 3D検出ベンチマークにおいて、SBNetは密度型ベースラインと比較して平均2.66倍の高速化を達成し、APは0.29%の低下にとどまった。
• 道路マップマスクを用いることで、SBNetは1.78倍の高速化を達成し、APは0.31%向上した。これはスパarsityが精度を向上させられることを示している。
• PSPNetから得たモデル予測マスクを用いると、SBNetは2.66倍の高速化を達成した。マスクネットワークとSBNetを組み合わせたシステムは、道路マップバージョンと比較して26.6%高速だった。
• マスクネットワーク（PSPNet）は100×176解像度で推論にわずか3.2msを要し、全体パイプラインの総時間の4%未満に留まった。
• TOR4Dデータセットでも、道路マスクを用いたSBNetは1.78倍の高速化と0.31%のAP向上を達成し、スパarsityが速度と精度の両方を向上させることを示した。
• 提案されたスパース畳み込みカーネルは、先行する一般化されたスパース畳み込み（Sub-M [9]）よりも実世界の推論速度で優れており、特に高スパarsityレベルで顕著な差が見られた。