[論文レビュー] The Perfect Match: 3D Point Cloud Matching with Smoothed Densities

Žan Gojčič, Caifa Zhou+2 more|arXiv (Cornell University)|Nov 16, 2018

3D Surveying and Cultural Heritage参考文献 48被引用数 32

ひとこと要約

3DSmoothNetは、滑らか化密度値（SDV）と局所基準枠（LRF）を用いた、完全畝込み層を備えたシアンプス型ディープラーニングアーキテクチャを提案する。このアーキテクチャにより、コンパクトで回転不変性を持つ3次元点群記述子が生成され、3DMatchで94.9%の平均リCALLを達成。32次元の特徴量で、1点あたり0.1msのニアリアルタイムな対応探索が可能となり、学習はインdoorのRGB-Dデータのみで行われたにもかかわらず、屋外レーザースキャンに対しても79.0%の平均リCALLを達成し、優れた一般化性能を示した。

ABSTRACT

We propose 3DSmoothNet, a full workflow to match 3D point clouds with a siamese deep learning architecture and fully convolutional layers using a voxelized smoothed density value (SDV) representation. The latter is computed per interest point and aligned to the local reference frame (LRF) to achieve rotation invariance. Our compact, learned, rotation invariant 3D point cloud descriptor achieves 94.9% average recall on the 3DMatch benchmark data set, outperforming the state-of-the-art by more than 20 percent points with only 32 output dimensions. This very low output dimension allows for near realtime correspondence search with 0.1 ms per feature point on a standard PC. Our approach is sensor- and sceneagnostic because of SDV, LRF and learning highly descriptive features with fully convolutional layers. We show that 3DSmoothNet trained only on RGB-D indoor scenes of buildings achieves 79.0% average recall on laser scans of outdoor vegetation, more than double the performance of our closest, learning-based competitors. Code, data and pre-trained models are available online at https://github.com/zgojcic/3DSmoothNet.

研究の動機と目的

• 高速かつ正確な点群マッチングを可能にする、コンパクトで回転不変性を持つ3次元局所特徴記述子の開発。
• 既存の学習済み記述子の限界、特にセンサーモダリティ間での一般化の悪さと出力次元数の高さを是正すること。
• センサーやシーンに依存しない方法を構築し、インドアのRGB-Dデータから屋外のレーザースキャンまで多様なデータで良好な性能を発揮すること。
• 低次元で高記述力を持つ特徴量により、ニアリアルタイムな対応探索を実現すること。

提案手法

• 各関心点に対して計算されるボクセル化された滑らか化密度値（SDV）表現と、局所基準枠（LRF）に合わせたアライメントにより、回転不変性を確保する。
• SDVは、各関心点の球状近傍に対してガウススムージングカーネルを用いて計算され、スパarsityを低減し、トレーニング中の勾配フローを改善する。
• 3次元SDVボクセルグリッドを処理する、シアンプス型3次元完全畝込みニューラルネットワークが、16または32出力次元のコンパクトで高記述力を持つ局所記述子を学習する。
• 対照的損失を用いて3DMatchデータ上でエンドツーエンドにトレーニングされ、特徴量の判別力向上を最適化する。
• 入力前処理には、3DMatch用に1.5mグリッド、屋外ETHデータ用に1.5mグリッドに加え、より大きな球状半径（W=1m）を用いる。
• 推論と最近傍探索がそれぞれ1点あたり0.3msおよび0.1msで実行可能であり、効率性に優れている。

実験結果

リサーチクエスチョン

• RQ1 学習済み3次元局所記述子は、最小限の出力次元数で高い性能を発揮するとともに、回転不変性を維持できるか？
• RQ2 インドアのRGB-Dデータでのみ学習したモデルが、自然景観の屋外レーザースキャンにどの程度一般化できるか？
• RQ3 SDV表現は、生のまたは非スムージングされたボクセル化と比較して、トレーニングの安定性と特徴量品質をどのように向上させるか？
• RQ4 完全畝込みシアンプス型ネットワークアーキテクチャは、精度と推論速度の両面で既存手法を上回れるか？
• RQ5 16次元と32次元の記述子の間で、性能と速度のトレードオフは、異なるデータセットにおいてどのように現れるか？

主な発見

• 3DSmoothNetは3DMatchベンチマークで94.9%の平均リCALLを達成し、すべての先行最先端手法を20ポイント以上上回った。
• 32出力次元のみで、標準PC上で1点あたり0.1msのニアリアルタイムな対応探索が可能となった。
• 屋外レーザースキャンに対しても効果的に一般化し、ETHデータセットで79.0%の平均リCALLを達成。競合する学習ベース手法の2倍以上に上回った。
• 16次元記述子はETHデータセットで48.2%の平均リCALLを達成し、低次元にもかかわらず優れた性能を示した。
• 先行手法と比較して、推論時間（0.3ms vs 3.7ms）と最近傍探索時間（0.1ms vs 0.8ms）が著しく短縮された。
• SDV表現によりトレーニングの安定性が向上し、境界効果が低減され、勾配フローの改善とLRF推定誤差へのロバストネスが向上した。