[論文レビュー] RoMa: Robust Dense Feature Matching

Johan Edstedt, Qiyu Sun+3 more|arXiv (Cornell University)|May 24, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

RoMaは、粗いスケールのマッチングに凍結されたDINOv2特徴を、細かいスケールの精錬に特化したConvNet特徴を組み合わせる、堅牢な高密度特徴マッチング手法を提案する。変換器デコーダーを用いてアンカー確率を予測することで、マルチモーダルな分布をモデル化する。WxBSベンチマークにおいて36%の向上を達成し、極端な現実世界の変化にさらされた状況下でも、高密度マッチングの堅牢性において新たなSOTAを樹立した。

ABSTRACT

Feature matching is an important computer vision task that involves estimating correspondences between two images of a 3D scene, and dense methods estimate all such correspondences. The aim is to learn a robust model, i.e., a model able to match under challenging real-world changes. In this work, we propose such a model, leveraging frozen pretrained features from the foundation model DINOv2. Although these features are significantly more robust than local features trained from scratch, they are inherently coarse. We therefore combine them with specialized ConvNet fine features, creating a precisely localizable feature pyramid. To further improve robustness, we propose a tailored transformer match decoder that predicts anchor probabilities, which enables it to express multimodality. Finally, we propose an improved loss formulation through regression-by-classification with subsequent robust regression. We conduct a comprehensive set of experiments that show that our method, RoMa, achieves significant gains, setting a new state-of-the-art. In particular, we achieve a 36% improvement on the extremely challenging WxBS benchmark. Code is provided at https://github.com/Parskatt/RoMa

研究の動機と目的

• 照明、視点、スケール、テクスチャの変化といった極端な現実世界の変化下での高密度特徴マッチングの堅牢性の欠如に対処する。
• 微調整や再訓練の限界を克服し、一般化性能を向上させるために、DINOv2から得られる凍結済み自己教師あり事前学習特徴を活用する。
• 粗いDINOv2特徴と、細粒度の局所化に特化した特化したConvNet特徴を組み合わせることで、マッチング精度を向上させる。
• アンカー確率予測に変換器デコーダーを再設計することで、マルチモーダルなマッチングシナリオにおける堅牢性を高める。
• 二段階損失戦略（粗いマッチングには分類による回帰、精錬には堅牢な回帰）を採用することで、データ分布に適切に一致するように学習を最適化する。

提案手法

• 限定的な3次元教師ありデータからの過学習を避けるために、粗い特徴抽出の基盤として、凍結済みのDINOv2特徴を用いる。
• 正確な局所化を可能にするために、DINOv2特徴とは独立して学習される、細粒度特徴を抽出する特化したConvNetを導入する。
• DINOv2の粗い特徴とConvNetの細かい特徴を統合して特徴のピラミッドを構築し、マルチスケールで高精度なマッチングを実現する。
• 座標に依存しない変換器デコーダーを設計し、アンカー確率を予測することで、マルチモーダルなマッチング分布を表現可能にする。
• 二段階損失戦略を実装する：粗いマッチングにはマルチモーダルな分布に対応する分類による回帰を、精錬には単一モードの局所的分布に対応する堅牢な回帰を適用する。
• 教師あり対応データと提案された損失関数の組み合わせを用いて学習し、パイプライン全体をエンドツーエンド最適化可能にする。

Figure 2 : Illustration of our robust approach RoMa. Our contributions are shown with green highlighting and a checkmark, while previous approaches are indicated with gray highlights and a cross. Our first contribution is using a frozen foundation model for coarse features, compared to fine-tuning o

実験結果

リサーチクエスチョン

• RQ1 DINOv2から得られる凍結済み自己教師あり特徴は、微調整済みまたはランダム初期化された特徴と比較して、高密度特徴マッチングの堅牢性を顕著に向上させるか？
• RQ2 基盤モデルの粗い特徴と特化したConvNetの細かい特徴を組み合わせることで、特徴の共同学習よりも優れた局所化精度が達成できるか？
• RQ3 直接的な座標回帰ではなく、アンカー確率予測としてマッチングをモデル化することで、マルチモーダルなマッチングシナリオでの性能向上が見られるか？
• RQ4 二段階損失戦略（粗いマッチングには分類による回帰、精錬には堅牢な回帰）は、標準的なL2損失よりも効果的か？
• RQ5 提案手法は、従来の手法が失敗するような極端なベンチマーク（例：WxBS）において、どの程度性能が向上するか？

主な発見

• RoMaは、極めて挑戦的なWxBSベンチマークにおいて、平均平均精度（mAP）を36%相対的に向上させ、新たなSOTAを樹立した。
• IMC2022ベンチマークでは、前回SOTA手法と比較して相対誤差を26%削減し、広基準マッチングにおける優れた一般化性能を示した。
• ScanNet-1500ベンチマークでは、AUC@20°が70を超える最初の結果を達成し、低テクスチャ・高変動性の屋内シーンにおける優れた性能を示した。
• MegaDepth-8-Scenesベンチマークでは、AUC@20°が85.3を達成し、DKM（84.2）やASpanFormer（82.9）といった以前のSOTA手法を上回った。
• InLocベンチマークにおける視覚的局所化では、0.25m以内かつ2°以内の精度で89.9%の局所化精度を達成し、すべての先行手法を上回った。
• より複雑なアーキテクチャを導入しても、推論時間は7%しか増加せず（560×560解像度で198.8ms vs. 186.3ms）、効率的なデプロイが可能である。

Figure 3 : Illustration of localizability of matches. At infinite resolution the match distribution can be seen as a 2D surface (illustrated as 1D lines in the figure), however at a coarser scale $s$ this distribution becomes blurred due to motion boundaries. This means it is necessary to both use a