[論文レビュー] Tangent Convolutions for Dense Prediction in 3D

Maxim Tatarchenko, Jaesik Park+2 more|arXiv (Cornell University)|Jul 6, 2018

3D Shape Modeling and Analysis参考文献 51被引用数 40

ひとこと要約

接線畳み込みを導入し、体素化せずに3D表面データ（点群）上で密な意味セグメンテーションを直接実行可能にする。大規模な室内外シーンに対してスケーラブルな深層ネットワークを実現し、いくつかのベースラインよりも優れている。

ABSTRACT

We present an approach to semantic scene analysis using deep convolutional networks. Our approach is based on tangent convolutions - a new construction for convolutional networks on 3D data. In contrast to volumetric approaches, our method operates directly on surface geometry. Crucially, the construction is applicable to unstructured point clouds and other noisy real-world data. We show that tangent convolutions can be evaluated efficiently on large-scale point clouds with millions of points. Using tangent convolutions, we design a deep fully-convolutional network for semantic segmentation of 3D point clouds, and apply it to challenging real-world datasets of indoor and outdoor 3D environments. Experimental results show that the presented approach outperforms other recent deep network constructions in detailed analysis of large 3D scenes.

研究の動機と目的

• 体積データではなく表面ジオメトリに基づく意味的シーン解析を動機付ける。
• 非構造な点群や他のノイズの多い3Dデータに適した畳み込み演算子を開発する。
• 密な各点の意味セグメンテーションのためのスケーラブルな深層ネットワーク（U-Netスタイル）を設計する。
• 大規模な室内外の実世界データセットで効率性とスケーラビリティを実証する。

提案手法

• 各点で局所表面近傍を接線平面に射影して2Dの接線画像を形成し、接線畳み込みを定義する。
• 局所共分散分析によって接線平面を推定し、最近傍法またはガウスカーネル混合を用いて3D点から接線画像へ信号を補間する。
• 事前計算された g(u) マッピングを使用し、厳密に2D接線畳み込みに対応する1D畳み込みを用いて接線畳み込みを効率的に実装する。
• ハッシュ化されたグリッド上でのプーリング/アンプーリングを用いたマルチスケール解析へ拡張し、密度が異なる大規模点群を扱う。
• 接線平面への局所距離を明示的な特徴として組み込み、マルチスケール距離特徴を連結する。
• 密な各点予測のためにスキップ接続を持つ完全畳み込みのU-Netスタイルアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 各点周囲の接線平面上で動作する接線畳み込みは、意味セグメンテーションのための局所的な幾何構造を効果的に捉えることができるか。
• RQ2 大規模シーンで数百万のポイントへ拡張するために、接線畳み込みをどのように効率的に実装できるか。
• RQ3 表面ベースのネットワークは、室内外のデータセット全体でボクセルベースまたはグラフベースの3D深層学習法より優れているか。
• RQ4 入力信号（接線平面までの距離、高さ、法線、色）のセグメンテーション性能への影響は何か。

主な発見

• 提案された接線畳み込みネットワークは、室内外の実世界データセットで強力な意味セグメンテーションを達成し、いくつかの最近の3D深層学習ベースラインを上回る。
• 最近傍の接線信号補間は、より複雑な方式と同等の性能を提供しつつ、実装を容易にする。
• ハッシュベースグリッドダウンサンプリングによるマルチスケールプーリングは、大規模シーンの処理をスケーラブルにし、精度を犠牲にしない。
• 実験では、幾何学的信号（接線平面までの距離、法線）は、室内データセットで色のみより一般に優れており、Semantic3Dのような一部屋外データセットでは色が役立つことがある。
• 本手法はSemantic3D、ScanNet、S3DISにおいてPointNet、OctNet、ScanNetベースラインと比較して競争力のあるまたは優れた mIoU および mA スコアを達成し、論文に記載された効率的な実行時間とメモリ特性を持つ。
• 接線平面マッピングの事前計算とTensorFlowベースの実装により、大規模点群での効率的なエンドツーエンドの訓練と推論をサポートする。