[論文レビュー] FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators

Haiping Wang, Yuan Liu+5 more|arXiv (Cornell University)|Oct 5, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

FreeRegは、事前学習された拡散モデルと単眼深度推定器を活用して、モダリティを統一するセマンティックおよび幾何的特徴を介して、クロスモダリティのメトリック学習を回避する、画像から点群への登録手法を提案する。タスク固有の訓練を一切行わず、公開ベンチマークで最先端の性能を達成し、インライア比率を20.6%向上、登録リCALLを48.6%向上した。

ABSTRACT

Matching cross-modality features between images and point clouds is a fundamental problem for image-to-point cloud registration. However, due to the modality difference between images and points, it is difficult to learn robust and discriminative cross-modality features by existing metric learning methods for feature matching. Instead of applying metric learning on cross-modality data, we propose to unify the modality between images and point clouds by pretrained large-scale models first, and then establish robust correspondence within the same modality. We show that the intermediate features, called diffusion features, extracted by depth-to-image diffusion models are semantically consistent between images and point clouds, which enables the building of coarse but robust cross-modality correspondences. We further extract geometric features on depth maps produced by the monocular depth estimator. By matching such geometric features, we significantly improve the accuracy of the coarse correspondences produced by diffusion features. Extensive experiments demonstrate that without any task-specific training, direct utilization of both features produces accurate image-to-point cloud registration. On three public indoor and outdoor benchmarks, the proposed method averagely achieves a 20.6 percent improvement in Inlier Ratio, a three-fold higher Inlier Number, and a 48.6 percent improvement in Registration Recall than existing state-of-the-arts.

研究の動機と目的

• 画像と点群の間の本質的なモダリティ差異に起因する、堅牢なクロスモダリティ特徴マッチングの課題に対処すること。
• 収束性が低く一般化能力に限界がある既存のメトリック学習ベースの手法の限界を克服すること。
• 大規模な事前学習モデルからの中間特徴を介してモダリティを統一することで、ゼロショットの画像から点群への登録を可能にすること。
• 拡散モデルからのセマンティック特徴と単眼深度推定による幾何的特徴を統合することで、対応精度を向上させること。
• I2Pタスクに対して微調整なしに事前学習モデルを直接使用することで、SOTAの性能を達成できることを示すこと。

提案手法

• 深度から画像を生成する拡散モデル（例：ControlNet）を用い、深度マップから画像に類似した特徴を生成することで、画像と点群の間でセマンティックに一貫性のある特徴を実現する。
• 入力RGB画像および点群から導出された深度マップの両方に対して、拡散モデルのエンコーダーから中間の拡散特徴を抽出する。
• これらのセマンティック特徴を用いて、類似度マッチングと相互チェックを組み合わせた最近傍探索器を適用し、粗いクロスモダリティ対応関係を確立する。
• 単眼深度推定器（例：Zoe-Depth）を用いてRGB画像からメトリック深度マップを予測し、幾何的特徴抽出を可能にする。
• 予測された深度マップから幾何的特徴を抽出し、点群から導出された深度マップの特徴とマッチングする。
• 得られたスパースなセマンティック対応関係と密度の高い幾何的対応関係を統合し、正確な密度の高いピクセルから点への対応関係を生成する。

Figure 1: Left : FreeReg unifies the modalities of images and point clouds, which enables mono-modality matching to build cross-modality correspondences. Right : FreeReg does not require any training on the I2P task and is able to register RGB images to point clouds in both indoor and outdoor scenes

実験結果

リサーチクエスチョン

• RQ1 事前学習された拡散モデルの中間特徴におけるセマンティックの一貫性が、メトリック学習を経由せずに堅牢なクロスモダリティ対応関係を可能にするか？
• RQ2 単眼深度推定が、拡散特徴を用いて確立された粗い対応関係の精度を向上させられるか？
• RQ3 完全に事前学習済みモデルのみを用いたゼロショットアプローチが、画像から点群への登録で最先端の性能を達成できるか？
• RQ4 セマンティック特徴と幾何的特徴の統合が、多様な屋内・屋外シーンにおける登録精度にどのように影響を与えるか？
• RQ5 KabschやPnPによるポーズ推定を実行する際、深度推定の品質が最終的な登録性能に与える影響は何か？

主な発見

• FreeRegは、3つの公開ベンチマークで、既存のSOTA手法と比較してインライア比率平均で20.6%向上、登録リCALLで48.6%向上した。
• 平均してインライア対応関係が3.0倍多く生成され、対応関係の品質に顕著な向上が見られた。
• KITTI-DCデータセットでは、Kabsch推定を用いたFreeRegが、緩い閾値（10°, 4m）で80.1%の登録リCALLを達成し、先行手法を上回った。
• 拡散特徴のみを用いるFreeReg-Dは、3DMatchで74.2%の登録リCALLを達成し、完全に教師ありのベースライン（LCDやI2P-Matr）を上回った。
• 拡散特徴と幾何的特徴の統合により、小規模な重複領域、大きな視点変化、スパarsな点群など、困難な状況下でも、密度の高い正確な対応関係が実現された。
• FreeRegは強力なモノモダリティ登録能力を示した：ScanNetでは87.9%の登録リCALL、3DMatchでは94.7%の登録リCALLを達成し、ほとんどの設定でFCGFやI2P-Matrを上回った。

Figure 2: To unify the modalities of point clouds (PCs) and images, I : a straightforward way is to generate RGB images from point clouds by depth-to-image diffusion models. However, the generated images usually have large appearance differences from the query images. II : We find that the intermedi