[論文レビュー] PPFNet: Global Context Aware Local Features for Robust 3D Point Matching

Haowen Deng, Tolga Birdal+1 more|arXiv (Cornell University)|Feb 7, 2018

Robotics and Sensor-Based Localization参考文献 41被引用数 56

ひとこと要約

PPFNet は、ポイント、法線、および点対特徴を組み合わせることにより、点群マッチングのためのグローバル文脈を考慮した局所3D記述子を学習し、N-tuple 損失を用いてグローバル文脈を注入し、最先端のリコールとロバスト性を達成します。

ABSTRACT

We present PPFNet - Point Pair Feature NETwork for deeply learning a globally informed 3D local feature descriptor to find correspondences in unorganized point clouds. PPFNet learns local descriptors on pure geometry and is highly aware of the global context, an important cue in deep learning. Our 3D representation is computed as a collection of point-pair-features combined with the points and normals within a local vicinity. Our permutation invariant network design is inspired by PointNet and sets PPFNet to be ordering-free. As opposed to voxelization, our method is able to consume raw point clouds to exploit the full sparsity. PPFNet uses a novel $ extit{N-tuple}$ loss and architecture injecting the global information naturally into the local descriptor. It shows that context awareness also boosts the local feature representation. Qualitative and quantitative evaluations of our network suggest increased recall, improved robustness and invariance as well as a vital step in the 3D descriptor extraction performance.

研究の動機と目的

• 頑健な局所3D記述子を、部分的/ノイズ混入時にも再現性があるよう動機づける。
• 生データの無構造な点群で動作できるよう、置換不変のネットワークを開発する。
• 局所記述子にグローバルな文脈情報を組み込み、マッチング性能を向上させる。
• 多対多の対応を捉え、エンドツーエンド学習を導く N-tuple 損失を提案する。
• 実世界の3Dデータセットで最先端のリコール、速度、およびロバストネスを示す。

提案手法

• 局所幾何を、点、法線、および点対特徴（PPF）の集合として表現する。
• ローカルパッチ機能をグローバル文脈に最大プーリングしてから、局所へ結合させるマルチパッチのグローバル文脈融合を PointNet に拡張する。
• N-tuple loss（一般化された N-to-N コントラスト損失）を導入し、対応行列と特徴距離行列を用いて断片間の正しいパッチ対応を促す。
• 3Dフラグメント間の対応を用いてランダムなフラグメント対で学習し、グローバルに情報を持つ記述子を学習する。
• RANSAC ベースのパイプラインで記述子を評価し、実データの 3DMatch、SUN3D、7-scenes データセットでリコールを測定する。

実験結果

リサーチクエスチョン

• RQ1 グローバル文脈を局所3D記述子に効果的に注入して、部分的またはノイズの多いデータ下で対応を改善できるか。
• RQ2 点対特徴を生データの点と法線とともに組み込むと、識別性と回転頑健性が向上するか。
• RQ3 N-tuple 損失は、3D マッチングにおける多対多のパッチ対応において、伝統的なペア/トリプレット損失より効果的か。
• RQ4 PPFNet は、リコール、 sparsity への頑健性、速度の観点で、手作り記述子や他の学習ベースの記述子と比較してどうか。
• RQ5 グローバル文脈を含めることと、 vanilla PointNet を使用した局所特徴学習の違いは何か。

主な発見

• PPFNet は RANSAC の前の 3DMatch ベンチマークで、手作りベースラインを上回る平均リコールを達成。
• PPFNet は点密度が低下しても頑健性を示し、スパース性が増すにつれてリコールを高く維持。
• 局所特徴へグローバル文脈を追加すると、vanilla PointNet のベースラインに対して、トレーニング時に 18%、検証時に 7% のマッチング改善をもたらす。
• 点対特徴を組み込むことで、PPF 入力を使用しない場合に比べて測定可能な性能向上を実現。
• PPFNet は、類似のパッチ数で 3DMatch よりも高速な推論と顕著なリコール優位性を達成。