[論文レビュー] Fully-Convolutional Point Networks for Large-Scale Point Clouds

Dario Rethage, Johanna Wald+3 more|arXiv (Cornell University)|Aug 21, 2018

3D Shape Modeling and Analysis参考文献 18被引用数 20

ひとこと要約

本論文は、未整理な3次元点群を内部的に整列したボクセルグリッドに変換することで、効率的な3次元畳み込み処理が可能な、完全畳み込み型ポイントネット（FCPN）という新規アーキテクチャを導入する。この手法により、最大20万点のスケールの点群を1回の通過でエンドツーエンドに処理でき、セマンティックセグメンテーションおよび3次元シーンキャプションにおいて最先端の性能を達成するとともに、メモリ効率が高く、空間的に順序付けられた出力を維持する。

ABSTRACT

This work proposes a general-purpose, fully-convolutional network architecture for efficiently processing large-scale 3D data. One striking characteristic of our approach is its ability to process unorganized 3D representations such as point clouds as input, then transforming them internally to ordered structures to be processed via 3D convolutions. In contrast to conventional approaches that maintain either unorganized or organized representations, from input to output, our approach has the advantage of operating on memory efficient input data representations while at the same time exploiting the natural structure of convolutional operations to avoid the redundant computing and storing of spatial information in the network. The network eliminates the need to pre- or post process the raw sensor data. This, together with the fully-convolutional nature of the network, makes it an end-to-end method able to process point clouds of huge spaces or even entire rooms with up to 200k points at once. Another advantage is that our network can produce either an ordered output or map predictions directly onto the input cloud, thus making it suitable as a general-purpose point cloud descriptor applicable to many 3D tasks. We demonstrate our network's ability to effectively learn both low-level features as well as complex compositional relationships by evaluating it on benchmark datasets for semantic voxel segmentation, semantic part segmentation and 3D scene captioning.

研究の動機と目的

• 大規模で未整理な3次元点群を効率的に処理できる汎用的なディーブラーニングアーキテクチャの開発を目的とする。
• 従来の手法が入力を整列したグリッドに制限するか、あるいは完全に未整理な点集合でのみ処理するという限界を克服することを目的とする。
• 事前処理や後処理ステップを一切行わずに、生の点群上でエンドツーエンドの学習を可能とすることを目的とする。
• 多様な3次元理解タスクに適応できるように、複数の空間スケールにわたるグローバルおよびローカル特徴の学習を可能とすることを目的とする。
• セグメンテーションを超えた応用、特に3次元シーンキャプションへの適用を示すために、空間的に整合性があり、視点に依存する記述を生成できることを目的とする。

提案手法

• ネットワークは未整理な3次元点群を入力とし、内部的に構造化された3次元ボクセルグリッドに変換して3次元畳み込み処理を実行する。
• ハイブリッドアーキテクチャを採用：入力は非構造的な点群であるが、内部表現はボクセライゼーションにより整列され、効率的な3次元畳み込みが可能になる。
• マルチスケールの抽象化とアップサンプリングを備えた完全畳み込み型エンコーダーデコーダー構造を採用し、空間分解能とコンテキストを保持する。
• 特徴の学習は3次元畳み込み層により実施し、次に1×1×1畳み込みを適用して次元削減と表現能力の向上を図る。
• 潜在空間における最近傍補間を用いて、特徴を元の点群解像度へと再伝搬する。
• 3次元キャプションのためには最終層を全結合層に置き換え、セマンティックセグメンテーションのバックボーンは固定し、キャプションヘッドのみを微調整する。

実験結果

リサーチクエスチョン

• RQ1 未整理な点群を直接処理しつつ、3次元畳み込みの効率性を活用できる完全畳み込み型ネットワークを設計可能か？
• RQ2 純粋に点に基づくネットワークや純粋にボクセルに基づくネットワークと比較して、提案されたハイブリッドアーキテクチャは性能およびスケーラビリティにおいてどのように差を示すか？
• RQ3 ネットワークは空間的に整合性があり、視点に依存する3次元シーンの記述を生成できるか？これにより、より高レベルのシーン理解が可能になるか？
• RQ4 最小限のメモリオーバーヘッドで、大規模な点群（例：部屋全体）にまでスケーリング可能か？
• RQ5 ボクセライゼーションによる内部的な特徴の整列が、直接的な点ベース処理と比較して特徴学習をどのように向上させるか？

主な発見

• FCPNはShapeNetのパーツセグメンテーションベンチマークで最先端の性能を達成し、16のカテゴリのうち12で先行手法を上回り、平均mIoUは84.0を記録した。
• ScanNetデータセットにおけるセマンティックボクセルラベル付けにおいて、20万点までの点群を1回の順伝播で処理でき、Titan Xpで9.1秒の推論時間であった。
• 空間的スケールが5倍で点数が10倍に拡大された点群処理でも、メモリ使用量は40％しか増加しなかった。これは優れたスケーラビリティを示している。
• ネットワークは空間的に順序付けられた出力を生成し、文脈的に適切で視点に依存する記述を可能にする3次元シーンキャプションに成功した。
• モデルはスケールにわたって良好に一般化可能である：小さな領域（例：2.4×2.4×2.4 m）で学習した後、再トレーニングなしに大きなシーンに適用可能である。
• アブレーションスタディにより、内部のボクセライゼーションと3次元畳み込み処理が、点のみのベースラインと比較して特徴学習を顕著に向上させていることが確認された。