[論文レビュー] Submanifold Sparse Convolutional Networks

Benjamin Graham, Laurens van der Maaten|arXiv (Cornell University)|Jun 5, 2017

3D Shape Modeling and Analysis被引用数 336

ひとこと要約

本論文は、疎性を保持する疎な畳み込み（SC および VSC）を導入し、深いサブ多様体疎畳み込みネットワークを構築する。これにより、密な同等手法と比較して roughly 半分の計算量とメモリ消費で最先端の性能を達成する。

ABSTRACT

Convolutional network are the de-facto standard for analysing spatio-temporal data such as images, videos, 3D shapes, etc. Whilst some of this data is naturally dense (for instance, photos), many other data sources are inherently sparse. Examples include pen-strokes forming on a piece of paper, or (colored) 3D point clouds that were obtained using a LiDAR scanner or RGB-D camera. Standard "dense" implementations of convolutional networks are very inefficient when applied on such sparse data. We introduce a sparse convolutional operation tailored to processing sparse data that differs from prior work on sparse convolutional networks in that it operates strictly on submanifolds, rather than "dilating" the observation with every layer in the network. Our empirical analysis of the resulting submanifold sparse convolutional networks shows that they perform on par with state-of-the-art methods whilst requiring substantially less computation.

研究の動機と目的

• 本質的に疎な時空データ（例：ペンのストローク、LiDAR点群）の効率的な処理を動機付ける。
• 層間で疎性の拡張を回避する畳み込み演算子を開発する。
• 疎な畳み込みを用いて疎性を保つ深いネットワークアーキテクチャ（VGG、ResNet、DenseNetの派生）を構築する。
• ベンチマークデータセットで精度を保ちつつ、計算量とメモリ消費を削減することを示す。

提案手法

• ground-stateの値を無視し、入力に存在するアクティブサイトのみに制限する疎な畳み込み（SC）と有効疎畳み込み（VSC）を定義する。
• VSCをほとんどの層で使用して、ネットワーク全体で疎性のパターンを固定する。
• VSCをストライド付きSC畳み込みと疎パーリングと組み合わせて、サブマニフォールドネットワーク（VGG、ResNet、DenseNetの派生）を構築する。
• 計算をGPU上で効率的に入力サイトから出力サイトへマッピングするルールブックを作成し、アクティブサイトのハッシュテーブルと小さな特徴量行列で処理を表現する。
• SCの逆作用としてデコンvolution（DC）を提供し、空間構造を再接続する。

実験結果

リサーチクエスチョン

• RQ1 疎な畳み込みを設計して、層間でアクティブサイトのパターン（サブマニフォールド）を拡張せずに保持できるか。
• RQ2 SCとVSCは、疎データに対して計算量とメモリを削減しつつ、より深いアーキテクチャで同等の精度を実現できるか。
• RQ3 サブマニフォールドネットワークは、2Dの手書きデータおよび3D形状データセットで、密な手法や他の疎なアプローチとどう比較されるか。
• RQ4 現代ハードウェア上でのハッシュテーブルベースの疎な畳み込みの実装と効率性はどうか。

主な発見

• SCとVSCは、疎データのベンチマークで最先端の性能を達成しつつ、計算量とメモリを約50%削減する。
• Ground-state discarding（非アクティブサイトをゼロに設定すること）は、CASIA handwritingデータ上で密な畳み込みと比較して精度を劣化させない。
• VSC（有効疎畳み込み）は疎性を維持し、深いネットワークを可能にするとともに、計算量を大幅に削減し精度の低下を最小限に抑える。
• SC/VSCで構築されたサブマニフォールドアーキテクチャ（VGG/ResNet/DenseNetの派生）は、密なベースラインを上回るか同等で、FLOPsと活性化が著しく低い。
• CASIAとModelNetでの実験は、実用的な効率性と密なネットワークに対する競争力のある精度を示す。