[論文レビュー] SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

Sheng Ao, Qingyong Hu+3 more|arXiv (Cornell University)|Nov 24, 2020

3D Surveying and Cultural Heritage参考文献 61被引用数 15

ひとこと要約

SpinNetは、回転不変性を持つ3次元局所特徴記述子を提案する。空間ポイントトランスフォーマーを用いて点群を円柱空間にマップし、SO(2)同値性を実現した後、ポイントベースのMLPと3次元円柱畳み込みを用いたニューラル特徴抽出器を適用する。SOTA性能を達成し、一般化性能に優れ、3DMatchの屋内データでのみ学習した後、未学習の屋外ETHデータで92.8%の特徴マッチング再現率を達成する。

ABSTRACT

Extracting robust and general 3D local features is key to downstream tasks such as point cloud registration and reconstruction. Existing learning-based local descriptors are either sensitive to rotation transformations, or rely on classical handcrafted features which are neither general nor representative. In this paper, we introduce a new, yet conceptually simple, neural architecture, termed SpinNet, to extract local features which are rotationally invariant whilst sufficiently informative to enable accurate registration. A Spatial Point Transformer is first introduced to map the input local surface into a carefully designed cylindrical space, enabling end-to-end optimization with SO(2) equivariant representation. A Neural Feature Extractor which leverages the powerful point-based and 3D cylindrical convolutional neural layers is then utilized to derive a compact and representative descriptor for matching. Extensive experiments on both indoor and outdoor datasets demonstrate that SpinNet outperforms existing state-of-the-art techniques by a large margin. More critically, it has the best generalization ability across unseen scenarios with different sensor modalities. The code is available at https://github.com/QingyongHu/SpinNet.

研究の動機と目的

• 深層学習ベースの点群登録における回転不変性で一般化可能な3次元局所記述子の欠如に対処すること。
• 局所的基準フレームやポイントペア統計量といった手作業特徴に依存することを排除し、表現力の制限を回避すること。
• ノイズ、不完全な表面、点密度の変動に対して局所幾何パターンを保持するエンドツーエンドで訓練可能なネットワークを設計すること。
• 屋内3DMatchから屋外ETHやKITTIデータセットへの異なるセンサモダリティや幾何分布を持つ未学習の環境への一般化を向上させること。

提案手法

• 空間ポイントトランスフォーマーが入力3次元点群を基準軸に整列させ、SO(2)同値性を強制し、回転ばらつきを低減する。
• XY平面に球面ボクセル化を適用し、各ボクセル内の回転ばらつきをさらに低減するための座標変換を実行する。
• 変換された局所表面を3次元円柱ボリュームに構造化し、3次元円柱畳み込み層に適した形式にする。
• ポイントベースのMLPが円柱ボリューム内の各ボクセルに対して初期シグネチャを抽出し、局所幾何的詳細を捉える。
• 独創的な3次元円柱畳み込みネットワーク（3DCCN）がボクセル間で空間的および文脈的情報を統合し、コンactな代表的記述子を生成する。
• パイプライン全体がエンドツーエンドで訓練可能であり、手作業特徴成分なしに記述子の真の最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの3次元局所特徴記述子は、外部の手作業特徴や局所基準フレームに依存せずに回転不変性を達成できるか？
• RQ2 学習された記述子は、異なるセンサモダリティや幾何分布を持つ未学習の3次元データセットにどれほど一般化できるか？
• RQ3 ポイント密度などの手作業特徴を学習されたポイントベースのシグネチャに置き換えることで、一般化性能とロバストネスが向上するか？
• RQ4 3次元円柱畳み込み層が空間構造を保持し、マッチング精度を向上させるにあたり、果たす貢献度はいかほどか？
• RQ5 空間変換とエンドツーエンド学習の組み合わせが、学習済みおよび未学習の点群登録タスクにおける性能向上にどのように寄与するか？

主な発見

• 3DMatchデータセットにおいて、0.1cmのしきい値で97.6%の特徴マッチング再現率（FMR）を達成し、先行SOTA手法を顕著に上回る。
• 未学習の屋外ETHデータセットでは、τ₁ = 0.1cmで92.8%のFMRを達成し、次に良い手法と比べ13%の向上を示す。
• 3DMatchからKITTIデータセットへの一般化において、69.19%の成功率を達成し、2番目に良い手法の性能を2倍以上に上回る。
• アブレーションスタディにより、基準軸整列や球面ボクセル変換を除去すると、特に回転したスキャンにおいて性能が著しく低下することが確認された。
• 3次元円柱畳み込み層を単純なMLPに置き換えると、3DMatchではFMRが64.4%に低下し、ETHでは0.0%にまで低下し、空間的文脈学習の重要性が明確になった。
• 手作業のポイント密度ではなく学習されたポイントベースのシグネチャを用いることで一般化性能が向上し、ETHで密度を学習された特徴に置き換えた場合、FMRは42.6%に低下した。