[論文レビュー] DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching

Shuzhe Wang, Juho Kannala+1 more|arXiv (Cornell University)|Jun 21, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

DGC-GNN は、クラスタベースのトランスフォーマーを用いて局所的マッチングをガイドするグローバルからローカルへのグラフニューラルネットワーク（GNN）を用いて、幾何的および色の手がかりを統合することで、記述子フリーな2D-3Dマッチング手法を提案する。この手法は最先端の性能を達成し、従来の最高の記述子フリー手法（GoMatch）の精度を2倍にし、記述子ベースの手法との差を顕著に縮小する。

ABSTRACT

Matching 2D keypoints in an image to a sparse 3D point cloud of the scene without requiring visual descriptors has garnered increased interest due to its low memory requirements, inherent privacy preservation, and reduced need for expensive 3D model maintenance compared to visual descriptor-based methods. However, existing algorithms often compromise on performance, resulting in a significant deterioration compared to their descriptor-based counterparts. In this paper, we introduce DGC-GNN, a novel algorithm that employs a global-to-local Graph Neural Network (GNN) that progressively exploits geometric and color cues to represent keypoints, thereby improving matching accuracy. Our procedure encodes both Euclidean and angular relations at a coarse level, forming the geometric embedding to guide the point matching. We evaluate DGC-GNN on both indoor and outdoor datasets, demonstrating that it not only doubles the accuracy of the state-of-the-art visual descriptor-free algorithm but also substantially narrows the performance gap between descriptor-based and descriptor-free methods.

研究の動機と目的

• 記述子フリーな2D-3Dマッチングの限界、特に記述子ベースの手法と比較して低いロバスト性と性能劣化を是正すること。
• 幾何的特徴のみで、特に幾何的に曖昧なシーンにおいても信頼できるマッチングが可能かどうかを検証すること。
• 階層的でグローバルからローカルへのGNNフレームワークに幾何的および色の情報を統合することで、マッチングのロバスト性を向上させること。
• 3Dシーンモデルに高次元の視覚的記述子を格納することに伴うメモリ使用量とプライバシーリスクを低減すること。
• 異なる屋内・屋外シーンやキーポイント検出器に一般化可能であり、性能劣化を引き起こさない手法を開発すること。

提案手法

• 本手法は、まずクラスタベースのトランスフォーマーを用いてグローバルな幾何的および色の特徴を符号化し、幾何的埋め込みを形成するグローバルからローカルへのGNNを採用する。
• 粗いレベルでキーポイント間のユークリッド的および角度的関係を捉えるための距離-角度埋め込みを計算する。
• グローバル埋め込みが局所的マッチングをガイドする。クラスタリング機構により、局所的クラスタ内での情報伝達が制限される。
• ネットワークはRGB色の特徴と幾何的座標を統合し、学習可能なアテンションメカニズムを用いて局所的点表現を最適化する。
• 微分可能な幾何最適化を用いて、視覚的記述子を必要とせず、エンドツーエンドで2D-3D対応関係を予測するようにモデルを訓練する。
• グローバルなクラスタ割り当てにはK-平均法および平均シフトクラスタリングを用い、アブレーションスタディによりクラスタリングアルゴリズムの選択に対するロバスト性を確認した。

Figure 1 : 2D-3D matching (shown by green lines) with the proposed DGC-GNN and GoMatch [ 54 ] . In this example, DGC-GNN obtains 78 correct matches with 0.02 meters camera translation and 0.24 ∘ rotation errors, while GoMatch finds only 17 inliers with a pose error of 0.37 meters and 4.37 ∘ .

実験結果

リサーチクエスチョン

• RQ1 幾何的手がかりのみで、2D-3Dマッチングにおいて類似構造を信頼性高く区別できるか。それとも色の追加情報が必要か。
• RQ2 記述子フリーな設定において、グローバルな幾何的構造を効果的に符号化し、それを局所的マッチングに活用する方法は何か。
• RQ3 色の情報を統合することでマッチング精度が向上するが、プライバシーやメモリオーバーヘッドの悪化は生じないか。
• RQ4 同じ3Dポイントクラウドを使用する場合、記述子フリー手法と記述子ベース手法の性能はどのように比較されるか。
• RQ5 提案手法は、異なるデータセット、キーポイント検出器、シーンタイプに一般化可能か。

主な発見

• DGC-GNN は、屋内および屋外の両方のデータセットで、最先端の記述子フリー手法である GoMatch の精度を2倍にした。
• 7Scenes データセットにおいて、ScanNet で学習し、SIFT で評価した場合、DGC-GNN は中央値の並進誤差 1.43 cm および回転誤差 13.43° を達成し、GoMatch を上回った。
• 記述子フリー手法と記述子ベース手法の間の性能差を縮小し、ポーズ推定において準最先端の精度に到達した。
• アブレーションスタディにより、ラベルベースの埋め込み（G. Label）よりも幾何的埋め込み（G. Emb.）が優れていることが確認され、グローバル表現における幾何的手がかりの重要性が強調された。
• K-平均法と平均シフトの両方のクラスタリングアルゴリズムに対してロバストであり、性能差はわずかにしか観察されなかった。
• 異なるデータセットおよびキーポイント検出器にわたって良好に一般化され、SuperPoint を SIFT に代えて使用しても、わずかな性能低下しか生じなかった。

Figure 2 : Pipeline overview. For keypoints from the 2D image and 3D points from the point cloud, the proposed DGC-GNN (1) considers the bearing vectors and the color at each bearing vector as input. (2) It extracts the point-wise position and color features with two separate encoders and mixes the