[論文レビュー] AffineGlue: Joint Matching and Robust Estimation

Dániel Baráth, Dmytro Mishkin+4 more|arXiv (Cornell University)|Jul 28, 2023

Face and Expression Recognition被引用数 4

ひとこと要約

AffineGlue は、一対多対応と単一ポイント最小解法を活用することで、組み合わせ的複雑性を低減し、耐性性を向上させる、特徴マッチングと頑健推定を統合したフレームワークを提案する。重力事前分布を用いた新規の 1-アフィン対応（1AC）解法とニューラルリジェクションヘッドを用いることで、最先端の性能を達成し、PhotoTourism では AUC@10° を 6.6 ポイント向上させ、SuperPoint+SuperGlue が ScanNet において LoFTR の精度に達するのを可能にした。

ABSTRACT

We propose AffineGlue, a method for joint two-view feature matching and robust estimation that reduces the combinatorial complexity of the problem by employing single-point minimal solvers. AffineGlue selects potential matches from one-to-many correspondences to estimate minimal models. Guided matching is then used to find matches consistent with the model, suffering less from the ambiguities of one-to-one matches. Moreover, we derive a new minimal solver for homography estimation, requiring only a single affine correspondence (AC) and a gravity prior. Furthermore, we train a neural network to reject ACs that are unlikely to lead to a good model. AffineGlue is superior to the SOTA on real-world datasets, even when assuming that the gravity direction points downwards. On PhotoTourism, the AUC@10° score is improved by 6.6 points compared to the SOTA. On ScanNet, AffineGlue makes SuperPoint and SuperGlue achieve similar accuracy as the detector-free LoFTR.

研究の動機と目的

• 繰り返しパターンや広い基準点間隔の下で、従来の 1 対 1 マッチングの不安定性を解消すること。
• アフィン対応に基づく単一ポイント最小解法に置き換えることで、マルチポイント最小解法を排除し、頑健推定の組み合わせ的複雑性を低減すること。
• 重力事前分布と劣悪なアフィン対応のニューラルリジェクションを統合することで、相対姿勢およびホモトピー推定の耐性性と精度を向上させること。
• 検出器フリーなアーキテクチャを必要とせず、SuperPoint+SuperGlue などの標準的な特徴検出器とマッチャーで最先端の性能を達成できること。
• 一対多マッチからのガイド付きサンプリングによるマッチングと推定の統合が、従来の RANSAC ベースのパイプラインを上回ることを示すこと。

提案手法

• AffineGlue は SuperPoint などの特徴検出器と SuperGlue などの記述子から一対多対応を構築し、マッチングの曖昧さを低減する。
• 1 アフィン対応（1AC）と重力事前分布を用いてホモトピーを推定する新規な最小解法を採用し、解法の複雑性を顕著に低減する。
• モデル推定の前に、低品質なアフィン対応をリジェクトするためのニューラルネットワークを訓練し、耐性性と収束性を向上させる。
• ガイド付きサンプリングは、推定モデルに基づいてインライヤー整合性のある 1 対 1 マッチを繰り返し選択し、正確なスコアリングと精緻化を可能にする。
• マルチポイント最小解法を必要とせず、単一ポイント解法を用いた反復的仮説生成と検証により、モデル推定を実行する。
• 重力事前分布（下向きを仮定）を統合することで、1AC 解法の安定性を向上させ、実際の重力方向が不正確であっても（例：ScanNet で 24.8° の誤差）も強い耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 一対多対応は、曖昧または繰り返しパターンのある条件下での特徴マッチングの耐性性を向上させることができるか？
• RQ2 アフィン対応と重力事前分布に基づく単一ポイント最小解法は、従来のマルチポイント解法を上回るホモトピー推定性能を達成できるか？
• RQ3 ガイド付きサンプリングによるマッチングと頑健推定の統合は、逐次的マッチングと RANSAC を上回る精度を達成できるか？
• RQ4 アフィン対応のための学習済みリジェクションヘッドは、モデル品質の向上と実行時間の短縮に寄与するか？
• RQ5 現実世界のデータでは粗い近似にとどまる重力事前分布が、性能にどの程度影響を与えるか？

主な発見

• PhotoTourism では、従来の最先端手法比で AUC@10° が 6.6 ポイント向上し、58.1% の AUC を達成した。
• ScanNet では、AffineGlue により SuperPoint+SuperGlue が検出器フリーな LoFTR の精度に達するようになり、AUC@20° で 89.2% を達成した。
• 1AC+重力解法にニューラルリジェクションを組み合わせた手法は、HPatches で 2 番目の最良手法比で AUC@1° が 5 ポイント向上した。
• AffineGlue はリアルタイムで動作し、PhotoTourism におけるホモトピー推定で平均 0.04 秒、姿勢推定で 0.09 秒の推論時間を達成した。
• PhotoTourism では、DoG+HardNet に比べて SuperPoint と SuperGlue および AffNet を組み合わせた手法が 1.5–2.5 AUC ポイント高い性能を示したが、HardNet はアフィン特徴に訓練されていない。
• 重力事前分布の誤差が 24.8° であっても、方法は依然として頑健であり、不完全な事前知識に対しても強い耐性を示した。