[논문 리뷰] RIFT2: Speeding-up RIFT with A New Rotation-Invariance Technique

Jiayuan Li, Pengcheng Shi외 2명|arXiv (Cornell University)|2023. 03. 01.

Advanced Image and Video Retrieval Techniques인용 수 15

한 줄 요약

RIFT2는 RIFT의 컨볼루션 시퀀스 링을 대체하기 위해 지배 인덱스 기반의 회전 불변성을 도입하여, 대략 1/3 수준의 계산 및 메모리 사용량 감소와 유사한 다중모달 매칭 성능을 달성합니다.

ABSTRACT

Multimodal image matching is an important prerequisite for multisource image information fusion. Compared with the traditional matching problem, multimodal feature matching is more challenging due to the severe nonlinear radiation distortion (NRD). Radiation-variation insensitive feature transform (RIFT)~\cite{li2019rift} has shown very good robustness to NRD and become a baseline method in multimodal feature matching. However, the high computational cost for rotation invariance largely limits its usage in practice. In this paper, we propose an improved RIFT method, called RIFT2. We develop a new rotation invariance technique based on dominant index value, which avoids the construction process of convolution sequence ring. Hence, it can speed up the running time and reduce the memory consumption of the original RIFT by almost 3 times in theory. Extensive experiments show that RIFT2 achieves similar matching performance to RIFT while being much faster and having less memory consumption. The source code will be made publicly available in \url{https://github.com/LJY-RS/RIFT2-multimodal-matching-rotation}

연구 동기 및 목표

• 비선형 방사 왜곡(NRD) 하에서 더 빠른 다중모달 특징 매칭을 촉진합니다.
• RIFT의 회전 불변성 메커니즘을 개선하여 계산 비용과 메모리 사용량을 줄입니다.
• 디스크립터의 복잡성을 줄이면서 RIFT의 매칭 성능을 유지하거나 근접하게 달성합니다.

제안 방법

• 로그-가보(Log-Gabor) 컨볼루션 링으로 생성된 다중 MIM 대신 각 키포인트마다 단일 MIM을 재사용합니다.
• MIM 히스토그램 패치를 계산하고 히스토그램에서 지배 지수를 식별합니다.
• 지배 지수를 기반으로 MIM을 재코딩하여 컨볼루션 시퀀스 링 없이 회전 불변성을 달성합니다.
• 지배 지수가 구별되지 않는 경우, 두 번째로 높은 빈(bin)을 사용한 두 번째 MIM을 생성합니다(안정성 향상).
• 고정된 키포인트 수와 패치 크기를 사용하여 SAR-옵티컬 및 적외-옵틱 데이터셋에서 RIFT2를 SIFT, PSO-SIFT, OS-SIFT, 및 RIFT와 비교합니다.

Figure 1: The framework of RIFT, which contains detection, description, and matching.

실험 결과

연구 질문

• RQ1 지배 기반 히스토그램 재코딩이 다중 MIM을 구성하지 않고도 회전 불변성을 제공할 수 있을까요?
• RQ2 지배 인덱스 기법이 계산 및 메모리 감소에도 불구하고 RIFT 수준의 매칭 정확도를 유지합니까?
• RQ3 다중모달 SAR-광학 및 적외-광학 이미지 쌍에서 RIFT2의 성능은 기존 특성 매처에 비해 어떤가요?

주요 결과

• RIFT2는 Log-Gabor 링과 다중 MIM을 피함으로써 실행 시간과 메모리 사용량을 크게 줄이고, RIFT와 거의 동일한 매칭 성능을 보여 줍니다.
• SAR-optical 데이터에서 RIFT2의 RMSE는 2.79로 RIFT의 3.12, 성공률은 96%로 RIFT의 94% 대비 높습니다.
• 적외-광학 데이터에서 RIFT2의 RMSE는 2.62로 RIFT의 2.45, 성공률은 97%로 RIFT의 98% 대비 낮습니다.
• 두 데이터셋 모두에서 RIFT2는 PSO-SIFT 및 OS-SIFT(약 7–10)에 비해 올바른 매칭 수가 현저히 더 많습니다(대략 110 정도).
• RIFT2는 기준 이미지에 대한 디스크립터 총 수를 약 6배 줄여 매칭 속도를 높이면서 정확도를 유지합니다.

Figure 2: The relationship between histogram and different MIMs $\{MIM_{r}^{\omega}\}_{1}^{{6}}$ .