[論文レビュー] Comparing Feature Detectors: A bias in the repeatability criteria, and how to correct it

Ives Rey-Otero, Mauricio Delbracio+1 more|arXiv (Cornell University)|Sep 8, 2014

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 5

ひとこと要約

この論文は、特徴点検出器の評価に用いられる標準的な再現性基準に、重複する重なり合う検出を好む系統的なバイアスが存在することを特定している。これを是正するため、記述子の重なりを考慮した非重複再現性指標を提案し、ベンチマークを通じて、重複を考慮した場合、特にヘシアンベースの手法が優位であるという従来の性能順位が大きく変化することが示された。新しい指標では、SIFTとSFOPが優れた性能を示した。

ABSTRACT

Most computer vision application rely on algorithms finding local correspondences between different images. These algorithms detect and compare stable local invariant descriptors centered at scale-invariant keypoints. Because of the importance of the problem, new keypoint detectors and descriptors are constantly being proposed, each one claiming to perform better (or to be complementary) to the preceding ones. This raises the question of a fair comparison between very diverse methods. This evaluation has been mainly based on a repeatability criterion of the keypoints under a series of image perturbations (blur, illumination, noise, rotations, homotheties, homographies, etc). In this paper, we argue that the classic repeatability criterion is biased towards algorithms producing redundant overlapped detections. To compensate this bias, we propose a variant of the repeatability rate taking into account the descriptors overlap. We apply this variant to revisit the popular benchmark by Mikolajczyk et al., on classic and new feature detectors. Experimental evidence shows that the hierarchy of these feature detectors is severely disrupted by the amended comparator.

研究の動機と目的

• キーポイント検出器の評価に用いられる標準的な再現性基準に、深刻な欠陥が存在するかを特定すること。
• 古典的な基準が、重複する重なり合う検出を生じる検出器を系統的に好むことの証明。
• 記述子の重なりを考慮した修正された再現性指標を提案し、より公平な評価を可能にする。
• 新しい指標を用いて最先端の検出器を再評価し、性能順位の変化を明らかにすること。
• すべての検出器で一貫した記述子（SIFT）を用いてマッチング性能の比較を通し、新しい指標の妥当性を検証すること。

提案手法

• 著者らは、各キーポイント検出に関連する楕円形領域を用いて、記述子領域の空間的重なりを組み込んだ修正された再現性基準を定義した。
• 対応する画像間の記述子間の重なり面積を計算して冗長性を定量化し、それに応じて再現性率を調整した。
• 新しい指標である非重複再現性は、クラスタ化され重複する検出を生じる検出器をペナルティ適用する。
• 一貫したSIFT記述子を用いて、オックスフォードデータセット上で12種類の最先端検出器のベンチマークにこの手法を適用した。
• 検出マップと重なりパターンの可視化により、検出器の分布と冗長性に関する直感的な洞察を提供した。
• すべての検出器で同じ記述子を用いたマッチング性能の比較を通じて、 sanity check を実施し、新しい指標が実際のマッチング結果と整合していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 標準的な再現性基準は、重複する重なり合う検出を生じる検出器を系統的に好むのか？
• RQ2 記述子の重なりは、キーポイント検出器の評価された性能順位にどのように影響するか？
• RQ3 重なりを考慮した修正された再現性指標は、より公平で現実的である評価を可能にするか？
• RQ4 冗長性を評価で補正した場合、検出器の性能順位はどのように変化するか？
• RQ5 新しい指標の結果は、実用的な応用における実際のマッチング性能と相関するか？

主な発見

• 古典的な再現性基準は、ヘシアンベースやハリスベースの手法のように、重複する重なり合う検出を生じる検出器を系統的に好む。
• 記述子の重なりを考慮した場合、ヘシアンベースの検出器（HESLAP や HESAFF）の性能順位は顕著に低下した。
• 非重複再現性指標では、SIFT と SFOP が上位に位置づけられ、検出数と非重なり再現性の両立が優れていることが示された。
• アフィン歪みが強いシーケンス、特に視点変化が顕著な状況では、MSER が非重複再現性で最良の性能を示した。
• SIFT-single は、すべてのシーケンスで標準的なSIFTを上回った。これは、推奨される代替手法であると考えられる。
• 新しい指標は実際のマッチング性能と整合した：SIFT と SFOP は非重複正しいマッチング数が最多であり、EBS や IBR のような冗長な検出器は、冗長性がペナルティとして適用された場合に著しく性能が低下した。