[論文レビュー] SPLATNet: Sparse Lattice Networks for Point Cloud Processing

Hang Su, Varun Jampani+5 more|arXiv (Cornell University)|Feb 22, 2018

3D Shape Modeling and Analysis参考文献 19被引用数 73

ひとこと要約

SPLATNet は permutohedral 格子上の疎な bilateral 畳み込み層を導入し、3D 点群を効率的に処理し、2D-3D 情報を共同で統合することで、ボクセル化を行わずに疎性を処理しつつ最先端のセグメンテーションを実現します。

ABSTRACT

We present a network architecture for processing point clouds that directly operates on a collection of points represented as a sparse set of samples in a high-dimensional lattice. Naively applying convolutions on this lattice scales poorly, both in terms of memory and computational cost, as the size of the lattice increases. Instead, our network uses sparse bilateral convolutional layers as building blocks. These layers maintain efficiency by using indexing structures to apply convolutions only on occupied parts of the lattice, and allow flexible specifications of the lattice structure enabling hierarchical and spatially-aware feature learning, as well as joint 2D-3D reasoning. Both point-based and image-based representations can be easily incorporated in a network with such layers and the resulting model can be trained in an end-to-end manner. We present results on 3D segmentation tasks where our approach outperforms existing state-of-the-art techniques.

研究の動機と目的

• ボクセル前処理なしで不規則な点群を直接処理する動機付け。
• 調整可能な受容野と空間的に認識可能な特徴を可能にするフレキシブルな格子ベースの畳み込みフレームワークを開発する。
• 占有格子サイトのみに作用するハッシュを用いて疎計算を効率化する。
• 点群（および任意で2D画像）を共有格子へマッピングすることは、2D-3D の共同処理を可能にする。
• RueMonge2014 および ShapeNet データセットで優れたセグメンテーション性能を示す。

提案手法

• 高次元の疎な格子（permutohedral lattice）へ入力特徴を写像するビルディアレート畳み込み層（BCLs）を構成ブロックとして利用する。
• Splat -> Convolve -> Slice 演算は入力点と格子間で特徴を転送し、学習可能な高次元フィルターを適用する。
• SPLATNet_3D を、受容野を段階的に大きくするより粗い格子スケールを積み重ねた複数の BCLs で構築し、それらの出力を結合し、最終的な各点の予測には1x1畳み込みを用いる。
• 2D CNN特徴を3D格子へスプラットし、点群へスライスすることで、2D-3D の融合を行い、連結と1x1畳み込みを通じた2D-3D 融合へと拡張する SPLATNet_2D-3D を構築する。
• 入力/出力格子特徴の柔軟性（L_in, L_out）と受容野を制御する異なる格子スケール Lambda を許す、エンドツーエンドで学習可能なフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 permutohedral 格子上の疎な高次元双方向フィルタリングは、ボクセル化なしで不規則な点群を効率的に処理できるか。
• RQ2 点群（および任意で2D画像）を共有格子へマッピングすることは、3D セグメンテーションと 2D-3D 融合のエンドツーエンド学習を効果的に可能にするか。
• RQ3 格子スケールの選択が受容野と3D点群タスクの性能に与える影響はどの程度か。
• RQ4 共同の2D-3D処理は、純粋に3Dまたは純粋に2Dのアプローチよりセグメンテーション性能を改善するか。
• RQ5 RueMonge2014 のファサード分割と ShapeNet のパーツ分割における SPLATNet バリアントの性能は、最先端手法と比較してどうか。

主な発見

• SPLATNet_3D は RueMonge2014 の3D点群ラベリングで65.4 IoUを達成し、OctNet (59.2 IoU) を上回る。
• SPLATNet_2D-3D は RueMonge2014 の3Dラベリングで69.8 IoUを達成し、62.9 IoUのAutocontext_2D-3Dを上回る。
• RueMonge2014 のマルチビュー画像ラベリングでは、DeepLab 2D + SPLATNet_2D-3D が70.6 IoUに達し、ベースラインより高い。
• ShapeNet パート分割では、SPLATNet_3D がクラス平均 IoU 82.0、インスタンス平均 IoU 84.6 を達成。SPLATNet_2D-3D はクラス平均 IoU 83.7、インスタンス平均 IoU 85.4 を達成し、従来法を上回る。
• SPLATNet_2D-3D はエンドツーエンドの 2D-3D 融合の有意な利点を示すが、多数の高解像度ビューに対する2Dネットワーク処理のため実行時間のトレードオフが生じる。