[論文レビュー] RIGA: Rotation-Invariant and Globally-Aware Descriptors for Point Cloud Registration

Hao Yu, Ji Hou+6 more|arXiv (Cornell University)|Sep 27, 2022

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

RIGAは、回転不変性とグローバルな認識を備えた新しいニューラル記述子を提案する。Point Pair Features (PPFs) からの回転不変な局所幾何学的特徴と、ビジョントランスフォーマーを用いたグローバル構造的・文脈的情報の統合により実現される。SOTA性能を達成し、大回転下でのModelNet40において相対的回転誤差を8°低減するとともに、3DLoMatchでは特徴マッチング再現率を最低5パーセンテージポイント向上する。

ABSTRACT

Successful point cloud registration relies on accurate correspondences established upon powerful descriptors. However, existing neural descriptors either leverage a rotation-variant backbone whose performance declines under large rotations, or encode local geometry that is less distinctive. To address this issue, we introduce RIGA to learn descriptors that are Rotation-Invariant by design and Globally-Aware. From the Point Pair Features (PPFs) of sparse local regions, rotation-invariant local geometry is encoded into geometric descriptors. Global awareness of 3D structures and geometric context is subsequently incorporated, both in a rotation-invariant fashion. More specifically, 3D structures of the whole frame are first represented by our global PPF signatures, from which structural descriptors are learned to help geometric descriptors sense the 3D world beyond local regions. Geometric context from the whole scene is then globally aggregated into descriptors. Finally, the description of sparse regions is interpolated to dense point descriptors, from which correspondences are extracted for registration. To validate our approach, we conduct extensive experiments on both object- and scene-level data. With large rotations, RIGA surpasses the state-of-the-art methods by a margin of 8\degree in terms of the Relative Rotation Error on ModelNet40 and improves the Feature Matching Recall by at least 5 percentage points on 3DLoMatch.

研究の動機と目的

• 回転に依存するバックボーンによる性能低下を受ける既存のニューラル記述子の限界を解消する。
• 局所幾何学を越えたグローバル3D構造的文脈を組み込むことで、記述子の特徴的差別化能を向上させる。
• スパースサンプリングにおける再現性の問題を軽減するため、ロバストな記述子を用いて粗いから細かい対応マッチングを可能にする。
• 任意の回転に対して不変性を維持しつつ、高い識別力を持つ記述子を設計する。
• 厳しい回転条件下でも、オブジェクトレベルおよびシーンレベルのベンチマークで優れた登録性能を達成する。

提案手法

• 点群からスパースな局所領域を抽出し、局所幾何学を表現するためのPoint Pair Features (PPFs) を計算する。
• 回転不変な符号化モジュールを適用して、PPFs を回転不変な局所幾何記述子に変換する。
• 点群全体の3次元構造を表すグローバルPPFシグネチャを構築し、グローバル構造認識を可能にする。
• ビジョントランスフォーマー (ViT) を用いてグローバルPPFシグネチャから構造的記述子を学習し、局所記述子にグローバル文脈を統合する。
• ViTエンコーダー内の自己注意機構を介して、局所記述子にシーンレベルの幾何的文脈をグローバルに集約する。
• スパース記述子を補間して、粗いから細かい登録パイプラインにおける効率的かつ信頼性の高い対応マッチングを実現する密度記述子にする。

Figure 1: Feature Matching Recall (FMR) on 3DLoMatch [ 2 ] (x-axis) and Rotated 3DLoMatch (y-axis). Methods that only encode local geometry are marked as blue, while approaches with global awareness are drawn in red. The performance drop from the original (x-axis) to the rotated (y-axis) benchmark f

実験結果

リサーチクエスチョン

• RQ1 高識別力を持ちながら、本質的に回転不変性を備えたニューラル記述子を設計可能か？
• RQ2 グローバル構造的および文脈的情報を組み込むことで、大回転下における記述子のロバスト性はどの程度向上するか？
• RQ3 純粋に局所的な手法と比較して、グローバル認識が、回転させたベンチマークでの性能低下をどの程度軽減するか？
• RQ4 回転不変かつグローバルに認識可能な記述子は、オブジェクトレベルおよびシーンレベルの両方の登録タスクでSOTA手法を上回れるか？
• RQ5 実世界のLiDARデータで一般的な法線推定の質が低い状況下でも、提案手法の記述子はどの程度ロバストか？

主な発見

• 大回転下のModelNet40では、SOTA手法と比較して相対的回転誤差を8°低減した。
• 3DLoMatchでは、回転させたテスト条件下でも、特徴マッチング再現率を最低5パーセンテージポイント向上した。
• KITTIでは登録再現率が99.1%に達し、計算コストの高いViTベースアーキテクチャであるにもかかわらず、大多数のベースラインを上回った。
• 回転させた3DLoMatchでは、性能低下がたった0.6%にとどまり、比較されたすべての手法の中で最小であり、優れた回転ロバスト性を示した。
• 屋外KITTIスキャンにおける法線推定が不十分な状況下でも、RIGAはすべての指標でSOTA手法と同等の性能を維持した。
• アブレーションスタディにより、グローバル構造符号化とグローバル文脈集約の両方が性能向上に顕著に寄与しており、ViTベースの注意機構が文脈統合の鍵を担っていることが確認された。

Figure 2: Illustration of the Inherent Rotational Invariance and Distinctiveness of RIGA. In (a), an arbitrary rotation is applied to the input scan. 1) Rotational Invariance : In (b), (c) and (d), local, global and point descriptors from untrained RIGA are visualized by t-SNE [ 5 ] , respectively.