[논문 리뷰] A case for using rotation invariant features in state of the art feature matchers

Georg Bökman, Fredrik Kahl|arXiv (Cornell University)|2022. 04. 21.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

이 논문은 최신의 LoFTR 특징 매칭기에서 표준 CNN 백본을 회전에 대해 등변성(-equivariance)을 갖는 스테이블러 CNN(steerable CNN)으로 대체할 경우, 표준 이미지 쌍에 대한 성능을 저하시키지 않은 채 이미지의 회전에 대한 강건성을 크게 향상시킬 수 있음을 보여준다. 핵심 기여는 매우 간단하면서도 효과적인 수정을 통해 최소한의 계산 비용으로도 회전 불변 특징을 얻을 수 있으며, 다양한 기하 변형에 걸쳐 일관된 성능 향상을 이룰 수 있다는 점이다.

ABSTRACT

The aim of this paper is to demonstrate that a state of the art feature matcher (LoFTR) can be made more robust to rotations by simply replacing the backbone CNN with a steerable CNN which is equivariant to translations and image rotations. It is experimentally shown that this boost is obtained without reducing performance on ordinary illumination and viewpoint matching sequences.

연구 동기 및 목표

• 학습 기반 특징 매칭기의 최신 기술에서 회전 불변 특징이 매칭 강건성에 기여하는지 조사하기.
• 표준 CNN을 회전 및 이동에 대해 등변성(-equivariance)을 갖는 스테이블러 CNN으로 교체했을 때 특징 매칭 성능에 미치는 영향 평가하기.
• 표준 이미지 매칭 벤치마크에서 성능을 희생시키지 않고도 회전 불변성을 달성할 수 있는지 확인하기.
• 순수한 회전 외에도 다른 기하 변형으로까지 확장 가능한 회전 불변 특징의 일반화 능력 평가하기.
• LoFTR와 같은 엔드 투 엔드 학습 기반 매칭 파이프라인에 스테이블러 CNN을 통합하는 것의 가능성과 효과성 탐색하기.

제안 방법

• LoFTR의 표준 CNN 백본을 이동 및 이미지 회전에 대해 등변성 있는 스테이블러 CNN으로 교체하여, 회전 불변 특징 추출을 가능하게 하였다.
• 4중 및 8중 대칭성을 갖는 다양한 스테이블러 CNN의 변형(Se2-LoFTR-4, Se2-LoFTR-4⋆, Se2-LoFTR-8⋆)을 구현하여 불변성 성질을 테스트하였다.
• HPatches 및 기하 변형이 가해진 변형판(예: HPatches-r, HPatches-h0.3, 시점 변화 시퀀스)에서 수정된 LoFTR 모델을 훈련 및 평가하였다.
• Corner Error AUC 및 3px, 5px, 10px 임계값에서의 Matching Accuracy(MMA)와 같은 표준 평가 지표를 사용하여 다양한 데이터셋 간 성능을 비교하였다.
• E(2) 대칭성 기반 표현 이론을 바탕으로 그룹 등변성 컨벌루션을 e2cnn 라이브러리를 활용해 구현하여 등변성에 대한 이론적 보장을 확보하였다.
• 여러 모델 체크포인트를 활용한 아블레이션 스터디를 수행하여 훈련 변동성을 평가하고 결과의 강건성을 확인하였다.

실험 결과

연구 질문

• RQ1 LoFTR에서 표준 CNN을 스테이블러 CNN으로 교체하면, 표준 이미지 쌍에 대한 성능을 저하시키지 않은 채 이미지의 회전에 대한 강건성을 향상시킬 수 있는가?
• RQ2 회전 불변 특징의 사용이 단순한 회전 외에도 다양한 기하 변형에 걸쳐 일관된 성능 향상을 이끌어내는가?
• RQ3 스테이블러 CNN으로 인한 성능 향상은 불변성 특성 덕분인가, 아니면 특징 표현 향상 등의 다른 요인 때문인가?
• RQ4 4중 대칭성과 8중 대칭성과 같은 회전 대칭성의 선택이 회전된 이미지 시퀀스에서의 매칭 성능에 어떤 영향을 미치는가?
• RQ5 LoFTR와 같은 엔드 투 엔드 학습 기반 매칭 파이프라인에 스테이블러 CNN을 통합하는 것이 최소한의 계산 오버헤드로 가능하며 전체 파이프라인의 기능을 해치지 않는가?

주요 결과

• SE2-LoFTR-8⋆ 모델은 HPatches-r45에서 기준 LoFTR를 초월하여 3px, 5px, 10px 임계값에서 각각 94.1, 94.1, 94.0의 Corner Error AUC를 기록하여 강력한 회전 불변성을 입증하였다.
• 모든 SE2 변종은 시점 변화가 가해진 HPatches 시퀀스에서 기준 모델보다 일관되게 뛰어난 성능을 보이며, 기하 변형에 대한 일반화 능력 향상을 시사한다.
• SE2-LoFTR-4⋆ 모델은 HPatches-r에서 3px에서 94.3의 Corner Error AUC를 기록하여, 4중 대칭성이라도 기준 모델에 비해 상당한 성능 향상을 이룬다.
• 표준 HPatches 벤치마크에서 SE2-LoFTR-4⋆ 모델은 3px에서 94.5의 Corner Error AUC를 기록하여, 비회전 이미지에서 성능 저하가 없음을 보여준다.
• SE2-LoFTR-8⋆ 모델은 HPatches-r45에서 10px에서 97.3%의 Matching Accuracy를 기록하여 기준 LoFTR의 96.1%를 크게 상회한다.
• 5개의 최상의 검증 체크포인트 간 테스트 점수 변동은 모든 지표에서 1% 미만으로 매우 미미하여, 안정적이고 신뢰할 수 있는 성능을 보였다.