[論文レビュー] PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

Charles R. Qi, Yi Li+2 more|arXiv (Cornell University)|Jun 7, 2017

Image Processing and 3D Reconstruction被引用数 7,051

ひとこと要約

PointNet++ は、点集合をメトリック空間で処理する階層的ネットワークを導入し、ネストした局所領域に対して再帰的に PointNet を適用することで、3D 点群および非ユークリッドデータに対してマルチスケールで密度適応的な特徴学習を可能にする。

ABSTRACT

Few prior works study deep learning on point sets. PointNet by Qi et al. is a pioneer in this direction. However, by design PointNet does not capture local structures induced by the metric space points live in, limiting its ability to recognize fine-grained patterns and generalizability to complex scenes. In this work, we introduce a hierarchical neural network that applies PointNet recursively on a nested partitioning of the input point set. By exploiting metric space distances, our network is able to learn local features with increasing contextual scales. With further observation that point sets are usually sampled with varying densities, which results in greatly decreased performance for networks trained on uniform densities, we propose novel set learning layers to adaptively combine features from multiple scales. Experiments show that our network called PointNet++ is able to learn deep point set features efficiently and robustly. In particular, results significantly better than state-of-the-art have been obtained on challenging benchmarks of 3D point clouds.

研究の動機と目的

• Metric space に存在し、しばしば不均一にサンプリングされる点集合の学習を動機づける。
• 複数スケールで局所構造を捉える階層的アーキテクチャを開発する。
• 密度の不均一なサンプリングを適応的なマルチスケール特徴集約で解決する。
• 階層的フレームワーク内で局所特徴学習器として PointNet を活用する。
• 2D/3D データセットおよび非ユークリッド空間全体での頑健性と効率を実証する。

提案手法

• ポイント集合をメトリック空間の距離を用いて重なる局所領域に分割する階層的ニューラルネットワークを定義する。
• 受容野の中心点を選択するために最遠点サンプリング（FPS）を使用する。
• 隣接点をボールクエリでグループ化し、ミニ PointNet で局所領域をエンコードする。
• 複数のセット抽象レベルを構築し、徐々に高次の特徴へと抽象化する。
• 異なる密度を扱うためにマルチスケールグルーピング（MSG）とマルチ解像度グルーピング（MRG）を導入する。
• トレーニング時のランダム入力ドロップアウトを組み込み、スケール間の適応重み付けを学習し、スキップ接続を介して距離ベース補間で元の点に特徴を伝搬させる。

実験結果

リサーチクエスチョン

• RQ1 階層的でメトリック空間に配慮したアーキテクチャは、点集合の局所的な幾何構造を複数スケールで捉えることができるか？
• RQ2 不均一なサンプリング密度を、微細なディテールを犠牲にせずにどう処理できるか？
• RQ3 密度適応的なマルチスケール戦略は、現実世界の密度が密集から希薄へ変化するベンチマークでロバスト性と精度を改善するか？
• RQ4 PointNet++ はユークリッド空間と非ユークリッド（内在的メトリック）点集合の両方に対して有効か？
• RQ5 マルチスケールと密度認識設計がセマンティックセグメンテーションと物体分類タスクに与える影響は？

主な発見

• 階層的アーキテクチャは、MNIST と ModelNet40 の分類で素の PointNet よりも顕著に改善を示す。
• マルチスケールおよび密度適応的戦略は、さまざまなサンプリング密度に対して頑健な性能を可能にする。
• MSG と DP（訓練時のランダム入力ドロップアウト）は、密度変動に対する頑健性を高め、テスト密度が低下しても性能低下を最小限にとどめる。
• MRG は、密度間の適応情報集約を維持しつつ、MSG の計算的に効率的な代替を提供する。
• PointNet++ は、ScanNet のセマンティックシーンラベリングや SHREC15 の非剛体形状分類を含む3D点群ベンチマークで最先端または競合的な結果を達成する。
• このアプローチは、 intrinsic 特徴と測地近傍を用いて内在構造を捉えることで非ユークリッドメトリック空間にも一般化する。