[논문 리뷰] RFVTM: A Recovery and Filtering Vertex Trichotomy Matching for Remote Sensing Image Registration

Ming Zhao, Bowen An외 3명|arXiv (Cornell University)|2022. 04. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 11

한 줄 요약

이 논문은 원격 감지 영상 정합을 위한 그래프 기반 특징 매칭 방법인 RFVTM을 제안한다. 이 방법은 아핀 불변성의 정점 삼분법 기술자를 사용하여 전역적 공간 관계를 모델링하고, 이상치를 반복적으로 필터링한다. 이상치 탐지 과정에서 잘못 제거된 내재점을 복구하고 필터링하는 전략을 통해, 큰 변형, 중복 패턴, 스펙트럼 불일치 상황에서도 정밀도와 안정성이 크게 향상된다. RANSAC, GTM, VTM과 비교해 다양한 조건에서 정확도와 강건성 면에서 뛰어나다.

ABSTRACT

Reliable feature point matching is a vital yet challenging process in feature-based image registration. In this paper,a robust feature point matching algorithm called Recovery and Filtering Vertex Trichotomy Matching (RFVTM) is proposed to remove outliers and retain sufficient inliers for remote sensing images. A novel affine invariant descriptor called vertex trichotomy descriptor is proposed on the basis of that geometrical relations between any of vertices and lines are preserved after affine transformations, which is constructed by mapping each vertex into trichotomy sets. The outlier removals in Vertex Trichotomy Matching (VTM) are implemented by iteratively comparing the disparity of corresponding vertex trichotomy descriptors. Some inliers mistakenly validated by a large amount of outliers are removed in VTM iterations, and several residual outliers close to correct locations cannot be excluded with the same graph structures. Therefore, a recovery and filtering strategy is designed to recover some inliers based on identical vertex trichotomy descriptors and restricted transformation errors. Assisted with the additional recovered inliers, residual outliers can also be filtered out during the process of reaching identical graph for the expanded vertex sets. Experimental results demonstrate the superior performance on precision and stability of this algorithm under various conditions, such as remote sensing images with large transformations, duplicated patterns, or inconsistent spectral content.

연구 동기 및 목표

• 큰 아핀 변형, 중복 패턴, 스펙트럼 불일치로 인한 원격 감지 영상에서의 신뢰할 수 없는 특징점 매칭 문제를 해결하기 위해.
• 강성 및 비강성 변형(예: 비틀림, 회전, 스케일링)에 대해 불변성을 유지하는 강건한 그래프 기반 매칭 방법을 개발하기 위해.
• 정점 삼분법 기술자의 반복적 불일치 비교를 통해 이상치를 탐지하고 필터링하여 거짓 경고를 줄이고 충분한 내재점을 유지하기 위해.
• 특히 높은 이상치 비율이나 가짜 등장형 그래프 구조가 존재할 경우, 이상치 필터링 과정에서 잘못 제거된 내재점을 복구하기 위해.
• 높은 이상치 비율과 복잡한 영상 왜곡과 같은 극한 조건에서도 매칭 정밀도와 안정성을 향상시키기 위해.

제안 방법

• 기타 점들 간의 선으로 형성된 공간 관계를 기반으로 각 특징점(정점)을 삼분법 집합으로 매핑하여, 새로운 아핀 불변 기술자인 정점 삼분법 기술자를 구성한다.
• 후보 매칭 간의 대응 정점 삼분법 기술자 간의 불일치를 비교하여 반복적으로 이상치를 탐지한다.
• 동일한 정점 삼분법 기술자와 작은 변환 오차를 가진 내재점을 복구하고 필터링하는 전략을 도입하여 강건성을 향상시킨다.
• 복구된 내재점을 포함해 정점 집합을 확장하고, 가짜 등장형 그래프 구조로 인해 잔류하는 잔여 이상치를 제거하기 위해 다시 필터링을 적용한다.
• 초기 정점 집합을 더 작은 그룹으로 분할하여 계산 복잡도를 감소시키면서도 매칭 성능를 유지하기 위해 알고리즘을 최적화한다.
• 실제 원격 감지 영상 쌍을 대상으로 다양한 조건(큰 변형, 중복, 스펙트럼 불일치)에서 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 원격 감지 영상에서 강성 및 비강성 아핀 변형 모두에 대해 불변성을 확보할 수 있는 특징 매칭 방법은 어떻게 설계할 수 있는가?
• RQ2 높은 이상치 비율과 중복 패턴이 존재하는 상황에서 효과적으로 이상치를 필터링하면서도 핵심 내재점을 유지할 수 있는 전략은 무엇인가?
• RQ3 가짜 등장형 그래프 구조에서 발생하는 반복적 이상치 필터링 과정에서 잘못 제거된 내재점을 복구할 수 있는 메커니즘은 존재하는가?
• RQ4 극한의 영상 왜곡 조건에서 RFVTM은 RANSAC, GTM, VTM에 비해 정밀도와 계산 효율성 면에서 어떻게 비교되는가?
• RQ5 초기 정점 집합을 분할함으로써 계산 효율성이 얼마나 향상되는가? 이는 매칭 정확도를 떨어뜨리지 않고 가능한가?

주요 결과

• RFVTM은 모든 테스트 조건에서 RANSAC, GTM, VTM에 비해 뛰어난 정밀도와 안정성을 확보하며, 특히 높은 이상치 비율(예: 95% 이상) 조건에서 뛰어난 성능을 보인다.
• RFVTM의 평균 실행 시간은 이상치 비율이 증가함에 따라 RANSAC 및 GTM보다 더 느리게 증가하여, 높은 노이즈 조건에서도 우수한 확장성을 보인다.
• 20개의 내재점이 있을 때, RFVTM은 95% 이상의 이상치 비율에서도 정밀도 100%를 달성하지만, RANSAC와 GTM는 이상치 비율이 55%를 초과하면 정밀도를 유지를 하지 못한다.
• 초기 정점의 분할은 시간 복잡도를 감소시킨다: m=10개 그룹일 경우 RFVTM은 m=1일 때 평균 2.8배 빠르며, 성능 손실는 최소한(예: 19% 내재점 손실 대비 VTM의 22% 손실)
• 복구 및 필터링 전략은 분할된 설정에서 성능 저하를 줄여 주며, 평균적으로 초기 내재점의 87%를 유지한다. 동일 조건에서 VTM는 단지 65%만 유지한다.
• 95% 이상의 이상치 비율에서도 10개 영상 쌍 중 8개에서 RFVTM이 정밀도 100%를 유지하여 극한 조건에서도 뛰어난 강건성을 입증한다.