[論文レビュー] MatchBench: An Evaluation of Feature Matchers

Jia-Wang Bian, Ruihan Yang+5 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 6

ひとこと要約

この論文は、マッチング能力、対応の十分性、効率性の3つの観点から特徴マッチャーを評価するための最初の統合ベンチマークであるMatchBenchを紹介する。SP曲線とAUCスコア、APバーを指標として提案し、短基準距離および広基準距離の評価に再編集されたSfM/SLAMデータセットを用い、最先端のマッチャーを広範囲にわたってベンチマーク化することで、実用的なシステム設計や今後の研究の指針を提供する。

ABSTRACT

Feature matching is one of the most fundamental and active research areas in computer vision. A comprehensive evaluation of feature matchers is necessary, since it would advance both the development of this field and also high-level applications such as Structure-from-Motion or Visual SLAM. However, to the best of our knowledge, no previous work targets the evaluation of feature matchers while they only focus on evaluating feature detectors and descriptors. This leads to a critical absence in this field that there is no standard datasets and evaluation metrics to evaluate different feature matchers fairly. To this end, we present the first uniform feature matching benchmark to facilitate the evaluation of feature matchers. In the proposed benchmark, matchers are evaluated in different aspects, involving matching ability, correspondence sufficiency, and efficiency. Also, their performances are investigated in different scenes and in different matching types. Subsequently, we carry out an extensive evaluation of different state-of-the-art matchers on the benchmark and make in-depth analyses based on the reported results. This can be used to design practical matching systems in real applications and also advocates the potential future research directions in the field of feature matching.

研究の動機と目的

• SfMおよびビジュアルSLAMにおいて不可欠な特徴マッチャーの評価のための標準化されたベンチマークの欠如に応えること。
• マッチング能力、対応の十分性、効率性の3つの観点からマッチャーを一貫して評価できる統一された評価フレームワークを確立すること。
• 既存のSfM/SLAMデータセットから再利用可能で拡張可能なベンチマークデータセットを構築し、短基準距離および広基準距離の両方のマッチングをサポートすること。
• 実用的なシステム設計を支援し、今後の研究の方向性を示すために、最先端のマッチャーを包括的に評価すること。

提案手法

• ベンチマークは、既存のSfM/SLAMデータセット（例：[10, 11, 12]）を用い、短基準距離および広基準距離の評価に適した画像ペアに再編集する。
• マッチング能力の評価に、正しいポーズ推定に基づくSP曲線とAUCスコアを導入する。
• 対応の十分性を測るため、APバーを提案し、画像ペアあたりの正しく一致した対応の数を反映する。
• マッチャー性能の妥当性を保証するため、2つの最先端のポーズ推定器を用い、各マッチャーに対して最も良い性能を示したものを選択することで公平性を最大化する。
• 拡張性を考慮し、一般的なSLAM/SfMデータセットをMatchBench形式に再フォーマットするためのツールを提供する。
• 多様なシーン（屋内オフィス、屋外通り、都市部の建物など）を対象として評価を実施し、一般化性を確保する。

実験結果

リサーチクエスチョン

• RQ1 最先端の特徴マッチャーは、異なるシーンやマッチングタイプ（短基準距離対広基準距離）においてどのように性能を発揮するか？
• RQ2 実世界の応用において、マッチング精度、対応の数、計算効率の間にはどのようなトレードオフがあるか？
• RQ3 SP曲線やAPバーといった異なる評価指標は、SfMおよびビジュアルSLAMシステムにおける実用的性能とどの程度相関するか？
• RQ4 統合されたベンチマークは、実世界応用における特徴マッチャーの開発および選定をどのように改善できるか？

主な発見

• GMSおよびRANSACベースのマッチャー（例：GMS）は、広基準距離マッチングにおいて優れた性能を示し、GMSは高い対応の十分性を達成している。
• FREAKやLATCHのようなマッチャーは高速性に優れるが、マッチング精度は低く、効率性と頑健性のトレードオフが顕著に現れている。
• SP曲線のAUCスコアは、全体的な性能を信頼性高く測定する指標であり、GMSやRepMatchといったトップマッチャーは、広基準距離シーケンスで0.9以上のAUCスコアを達成している。
• APバーで測定される対応の十分性は、マッチャー間で顕著に異なることが判明し、GAIMやCODEは多数の正しく一致した対応を生成している。
• ベンチマークの結果から、どの指標においても一貫して優れたマッチャーが存在しないことが明らかになり、タスクに応じたマッチャー選定の必要性が示された。
• ポーズ推定器の選択がマッチャーの順位に影響を及えることが確認されたが、全体的な傾向は一貫しており、ベンチマークの信頼性が裏付けられた。