[論文レビュー] Fusion-Aware Point Convolution for Online Semantic 3D Scene Segmentation

Jiazhao Zhang, Chenyang Zhu+2 more|arXiv (Cornell University)|Mar 13, 2020

3D Shape Modeling and Analysis参考文献 36被引用数 4

ひとこと要約

本論文は、オンラインRGB-D再構成を用いたリアルタイムなRGB-D再構成を用いた、融合に配慮した3Dポイント畳み込み手法を提案する。双子のデータ構造（グローバル座標インターバル木とローカルオクソトリー）を採用し、時間的相関を活用する動的で効率的な3D畳み込みを実現し、ScanNetなどのベンチマークデータセットで10 FPSで最先端の精度を達成した。

ABSTRACT

Online semantic 3D segmentation in company with real-time RGB-D reconstruction poses special challenges such as how to perform 3D convolution directly over the progressively fused 3D geometric data, and how to smartly fuse information from frame to frame. We propose a novel fusion-aware 3D point convolution which operates directly on the geometric surface being reconstructed and exploits effectively the inter-frame correlation for high quality 3D feature learning. This is enabled by a dedicated dynamic data structure which organizes the online acquired point cloud with global-local trees. Globally, we compile the online reconstructed 3D points into an incrementally growing coordinate interval tree, enabling fast point insertion and neighborhood query. Locally, we maintain the neighborhood information for each point using an octree whose construction benefits from the fast query of the global tree.Both levels of trees update dynamically and help the 3D convolution effectively exploits the temporal coherence for effective information fusion across RGB-D frames.

研究の動機と目的

• インクリメンタルなRGB-D再構成の過程でリアルタイムかつオンラインでセマンティック3Dシーンセグメンテーションを可能にすること。
• 時間的に変化する、徐々に融合される3D幾何構造上で3D畳み込みを実行する課題に対処すること。
• 時間的相関を活用して3D特徴学習とセグメンテーション精度を向上させること。
• 動的点挿入、近傍クエリ、表面に配慮した畳み込みをサポートする効率的なメモリ内データ構造の設計。

提案手法

• グローバル座標インターバル木を用いて、オンライン再構成された3Dポイントの増加的成長する空間的組織を維持し、高速な点挿入と近傍クエリを可能にする。
• グローバル木の高速クエリ機能を活用して、各点ごとにローカルオクソトリーを構築し、地表面距離の近似を用いた点ごとの適応的畳み込みを実現する。
• 融合に配慮したポイント畳み込みは、グローバル木から取得した点対応を活用して、フレーム内2D特徴とフレーム間3D特徴を統合する。
• ローカルオクソトリーからの近似地表面距離に基づく重み付き畳み込みカーネルを用いることで、近傍選択を表面に配慮させる。
• 動的デュアルツリー構造により、リアルタイム更新が可能であり、フレーム間で段階的にセマンティックラベルの精度を向上させられる。
• リアルタイムなRGB-D再構成と統合されたインタラクティブパイプラインに統合され、オンラインセグメンテーションを実現している。

実験結果

リサーチクエスチョン

• RQ1 オンラインRGB-D融合の過程で、時間的に変化する3D幾何データに対して、どのように効果的に3D畳み込みを実行できるか？
• RQ2 高速な近傍クエリをサポートしつつ、オンライン点群の動的維持が可能なデータ構造は何か？
• RQ3 時間的相関をどのように活用することで、3D特徴学習とセマンティックセグメンテーション精度を向上させられるか？
• RQ4 ローカルオクソトリーを用いた表面に配慮した近傍選択は、ユークリッド距離ベースの手法に比べて、どの程度セグメンテーション性能を向上させるか？
• RQ5 リアルタイムかつオンラインのセマンティック3Dセグメンテーションシステムは、インタラクティブなフレームレートを維持しながら、最先端の精度を達成できるか？

主な発見

• 提案手法は、ScanNetベンチマークで、オンラインおよびオフライン手法を凌駕する最先端のセマンティックセグメンテーション精度を達成した。
• 時間の経過とともにセグメンテーション精度が著しく向上し、いすやテーブルのような複雑な物体では、フレーム間の特徴融合のおかげで顕著な向上が見られた。
• t-SNE可視化による点特徴の進化の結果、融合に配慮したポイント畳み込みにより、埋め込み空間における特徴の分離性が向上した。
• ローカルオクソトリーからの地表面距離近似を用いた表面に配慮した畳み込みは、すべての受容 field サイズにおいて、ユークリッドベースの近傍選択を常に上回った。
• オンライン処理では10 FPSで実行可能であり、キーフレームベース処理ではさらに高いフレームレートを達成しており、リアルタイム実現可能性を示した。
• 動的グローバル・ローカルツリー構造により、効率的な点挿入と近傍クエリが可能となり、大規模なオンライン再構成へのスケーラビリティを支えた。