[논문 리뷰] Comparing Feature Detectors: A bias in the repeatability criteria, and how to correct it

Ives Rey-Otero, Mauricio Delbracio외 1명|arXiv (Cornell University)|2014. 09. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 특징 검출기 평가에 사용되는 표준 반복성 기준에 내재된 체계적 편향을 규명하며, 이는 중복되고 겹치는 검출을 유도하는 검출기들을 유리하게 평가한다는 점을 밝힌다. 이를 수정하기 위해 기술자 겹침을 고려한 비중복 반복성 지표를 제안하며, 벤치마킹을 통해 중복성을 고려할 경우 검출기의 성능 순위가 근본적으로 변화함을 입증한다. 특히 헤시안 기반 방법이 이전에 유리하게 평가되었으나, 중복성 보정 후에는 SIFT와 SFOP가 뛰어난 성능을 보임을 확인한다.

ABSTRACT

Most computer vision application rely on algorithms finding local correspondences between different images. These algorithms detect and compare stable local invariant descriptors centered at scale-invariant keypoints. Because of the importance of the problem, new keypoint detectors and descriptors are constantly being proposed, each one claiming to perform better (or to be complementary) to the preceding ones. This raises the question of a fair comparison between very diverse methods. This evaluation has been mainly based on a repeatability criterion of the keypoints under a series of image perturbations (blur, illumination, noise, rotations, homotheties, homographies, etc). In this paper, we argue that the classic repeatability criterion is biased towards algorithms producing redundant overlapped detections. To compensate this bias, we propose a variant of the repeatability rate taking into account the descriptors overlap. We apply this variant to revisit the popular benchmark by Mikolajczyk et al., on classic and new feature detectors. Experimental evidence shows that the hierarchy of these feature detectors is severely disrupted by the amended comparator.

연구 동기 및 목표

• 키포인트 검출기 평가에 사용되는 표준 반복성 기준에 내재된 심각한 결함을 규명하는 것.
• 기존 기준이 중복되고 겹치는 검출을 유도하는 검출기들을 체계적으로 유리하게 평가한다는 것을 입증하는 것.
• 기술자 겹침을 고려한 보정된 반복성 지표를 제안하여 공정한 평가를 보장하는 것.
• 새로운 지표를 사용해 최신 기술 검출기들을 재평가하고 성능 순위의 변화를 드러내는 것.
• 모든 검출기에서 일관된 SIFT 기술자(기본)를 사용해 매칭 성능 비교를 통해 신규 지표의 타당성을 검증하는 것.

제안 방법

• 저자는 각 키포인트 검출에 연결된 타원형 영역을 사용하여 기술자 영역의 공간적 겹침을 고려한 수정된 반복성 기준을 정의한다.
• 해당 이미지 간 기술자 간 겹침 면적을 계산하여 중복성을 정량화하고, 이를 반영해 반복성 비율을 조정한다.
• 비중복 반복성이라 불리는 새로운 지표는 군집화되고 겹치는 검출을 유도하는 검출기를 징벌한다.
• 일관된 SIFT 기술자를 사용해 Oxford 데이터셋에서 12개의 최신 기술 검출기들을 대상으로 벤치마킹을 수행한다.
• 검출 지도와 겹침 패턴을 시각화하여 검출기 분포와 중복성에 대한 직관적 통찰을 제공한다.
• 모든 검출기에서 동일한 기술자를 사용해 매칭 성능을 비교함으로써 신뢰성 검증을 수행하며, 새로운 지표가 실질적인 매칭 결과와 일치함을 확인한다.

실험 결과

연구 질문

• RQ1 표준 반복성 기준은 중복되고 겹치는 검출을 유도하는 검출기들을 체계적으로 유리하게 평가하는가?
• RQ2 기술자 겹침은 키포인트 검출기의 평가 성능 순위에 어떤 영향을 미치는가?
• RQ3 겹침을 고려한 수정된 반복성 지표는 검출기 성능 평가에 대해 더 공정하고 현실적인 기준을 제공할 수 있는가?
• RQ4 반복성 보정을 고려한 평가에서 검출기의 성능 순위는 어떻게 변화하는가?
• RQ5 새로운 지표의 결과는 실질적인 응용에서의 실제 매칭 성능과 상관관계가 있는가?

주요 결과

• 기존의 반복성 기준은 헤시안 기반 및 헤리스 기반 방법처럼 중복되고 겹치는 검출을 유도하는 검출기들을 체계적으로 유리하게 평가한다.
• 기술자 겹침을 고려할 경우 헤시안 기반 검출기인 HESLAP과 HESAFF의 성능 순위가 크게 하락한다.
• 비중복 반복성 지표 하에서 SIFT와 SFOP가 최상위 성능을 보이며, 검출 수와 비겹침 반복성 간의 균형이 뛰어나다는 것을 입증한다.
• 강한 애핀 변형이 수반되는 시퀀스, 특히 시점 변화가 있는 경우 MSER가 비중복 반복성에서 가장 뛰어난 성능을 보인다.
• SIFT-single 버전이 모든 시퀀스에서 표준 SIFT보다 뛰어나게 성능을 보이며, 이를 추천 대체 기준으로 제안한다.
• 새로운 지표는 실질적인 매칭 성능과 일치한다: SIFT와 SFOP는 비중복 정확 매칭 수가 가장 많고, 중복성이 있는 EBR 및 IBR와 같은 검출기들은 중복성이 징벌될 경우 성능이 떨어진다.