[論文レビュー] An Evaluation of Feature Matchers for Fundamental Matrix Estimation

Jia-Wang Bian, Yu-Huan Wu+5 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 38

ひとこと要約

本論文は、最近の局所特徴量、対応プリューニング手法、および頑健推定器を古典的な二視点マッチングパイプライン内で体系的に評価し、基本行列推定への影響を判断し、実用的なマッチングシステムと粗から細へのRANSACアプローチを提案します。

ABSTRACT

Matching two images while estimating their relative geometry is a key step in many computer vision applications. For decades, a well-established pipeline, consisting of SIFT, RANSAC, and 8-point algorithm, has been used for this task. Recently, many new approaches were proposed and shown to outperform previous alternatives on standard benchmarks, including the learned features, correspondence pruning algorithms, and robust estimators. However, whether it is beneficial to incorporate them into the classic pipeline is less-investigated. To this end, we are interested in i) evaluating the performance of these recent algorithms in the context of image matching and epipolar geometry estimation, and ii) leveraging them to design more practical registration systems. The experiments are conducted in four large-scale datasets using strictly defined evaluation metrics, and the promising results provide insight into which algorithms suit which scenarios. According to this, we propose three high-quality matching systems and a Coarse-to-Fine RANSAC estimator. They show remarkable performances and have potentials to a large part of computer vision tasks. To facilitate future research, the full evaluation pipeline and the proposed methods are made publicly available.

研究の動機と目的

• 最近の局所特徴量、対応削減アルゴリズム、および頑健推定器が、古典的な二視点マッチングと几何推定パイプラインに組み込まれた場合にどう機能するかを評価する。
• 厳密に定義された指標を用いて、四つの大規模データセットで統一的な評価プロトコルを確立する。
• 特定のアルゴリズムが優れるデータセットとシナリオを特定し、実用的なマッチングシステムを提案する。
• 頑健な基本行列推定のための、迅速で効果的な粗から細へのRANSACフレームワークを提案する。
• 今後の研究を促進するために、公開可能な評価パイプラインと手法を提供する。

提案手法

• 最新の局所特徴量、対応削減、および頑健推定器を、ベースラインの SIFT-DoG パイプラインに組み込み、FM 推定の利得を評価する。
• 標準化された評価指標を用いて、四つの大規模データセット（TUM、KITTI、Tanks and Temples、CPC）を使用する。
• FM 推定精度を測るために対称幾何距離（SGD）と正規化 SGDを採用し、マッチング品質の指標としてインライアベースの指標を用いる。
• ベースラインを CODE、GMS、LPM、LC のような手法や、LMedS、MSAC、USAC、GC-RANSAC といった推定器と比較する。
• 検出器/記述子とプリューニングおよび LMedS を組み合わせた実用的な三つのマッチングシステムを提案し、GC-RANSAC のプリューニングと最終の LMedS フィッティング段階を組み合わせた粗から細へのRANSACを導入する。

実験結果

リサーチクエスチョン

• RQ1 最近の局所特徴量（学習済みおよび手作りのもの）は、古典的なパイプラインに組み込んだ場合、二視点マッチングと基本行列推定にどう影響しますか？
• RQ2 現代の対応プリューニングアルゴリズムは、多様なデータセットにおいてFM推定とインライアの割合を改善しますか？
• RQ3 短い基準と長い基準のシナリオで、どの頑健推定器が精度と効率のバランスを最も適切に取れるか？
• RQ4 実用的で高速なマッチングシステムは、CODEのような最先端パイプラインと競合するFM推定性能を達成できますか？
• RQ5 粗から細への戦略（プリューニングに続く頑健なフィッティング）は、難易度の高いデータセット全体で優れたFM推定をもたらしますか？

主な発見

• RootSIFT-PCAとHardNet++は、多くの場面で基準のSIFTを一貫して上回り、HesAffNetは広いベースラインの文脈で優れている。
• CODEはデータセット全体で最先端の性能を達成するが、提案システムよりはるかに遅い。
• GMSとLPMは対応を効果的に削減し、有用なマッチを保持しつつインライア率を改善する。LCは精度を向上させることがあるが、短ベースラインデータでは困難で、内部パラメータが必要。
• GC-RANSACとUSACは外れ値をよく削除するが、いくつかのデータセットではモデルフィットの性能が劣る場合がある。外れ値削除段階として有効。
• 提案された粗から細へのRANSAC（CF-RSC）— GC-RANSACのプリューニングに続くLMedSフィッティング—は、FM推定タスクで他の選択肢より著しく優れている。
• 三つの提案マッチングシステム（DoG+RootSIFT-PCA、DoG+HardNet++、HesAffNet+HardNet++）とGMSおよび比率プリーニングは、いくつかのケースでベースラインおよび対抗CODEを上回りつつ、はるかに高速なままです。