[논문 리뷰] AffineGlue: Joint Matching and Robust Estimation

Dániel Baráth, Dmytro Mishkin외 4명|arXiv (Cornell University)|2023. 07. 28.

Face and Expression Recognition인용 수 4

한 줄 요약

AffineGlue는 일대다 대응과 단일점 최소 해법을 활용하여 조합 복잡도를 감소시키고 강건성을 향상시키는 통합적 특징 매칭 및 강건 추정 프레임워크를 제안한다. 새로운 1-아핀 대응(1AC) 해법과 중력 우선 정보, 신경망 기반 거부 헤드를 통해 최신 기술 수준의 성능을 달성하였으며, PhotoTourism에서 AUC@10°를 6.6점 향상시켰고, SuperPoint+SuperGlue가 ScanNet에서 LoFTR의 정확도에 도달할 수 있도록 했다.

ABSTRACT

We propose AffineGlue, a method for joint two-view feature matching and robust estimation that reduces the combinatorial complexity of the problem by employing single-point minimal solvers. AffineGlue selects potential matches from one-to-many correspondences to estimate minimal models. Guided matching is then used to find matches consistent with the model, suffering less from the ambiguities of one-to-one matches. Moreover, we derive a new minimal solver for homography estimation, requiring only a single affine correspondence (AC) and a gravity prior. Furthermore, we train a neural network to reject ACs that are unlikely to lead to a good model. AffineGlue is superior to the SOTA on real-world datasets, even when assuming that the gravity direction points downwards. On PhotoTourism, the AUC@10° score is improved by 6.6 points compared to the SOTA. On ScanNet, AffineGlue makes SuperPoint and SuperGlue achieve similar accuracy as the detector-free LoFTR.

연구 동기 및 목표

• 반복 패턴과 넓은 기준선 조건에서 기존 일대일 매칭의 불안정성을 해결하기 위해.
• 아핀 대응 기반 단일점 해법으로 다점 최소 해법을 대체함으로써 강건 추정의 조합 복잡도를 감소시키기 위해.
• 중력 우선 정보와 낮은 품질의 아핀 대응을 신경망으로 거부함으로써 상대 자세 및 투영 변환 추정의 강건성과 정확도를 향상시키기 위해.
• 검출기 기반 아키텍처가 필요 없이도 SuperPoint+SuperGlue와 같은 표준 특징 검출기 및 매칭기로 최신 기술 수준의 성능을 달성하기 위해.
• 일대다 매칭에서 유도된 가이드드 샘플링을 통한 통합적 매칭 및 추정이 기존 RANSAC 기반 파ipeline보다 높은 정확도를 달성하는가를 입증하기 위해.

제안 방법

• AffineGlue는 SuperPoint와 같은 특징 검출기와 SuperGlue와 같은 기술자로부터 일대다 대응을 구성하여 매칭의 모호성을 감소시킨다.
• 일부 아핀 대응(1AC)과 중력 우선 정보만을 사용해 투영 변환을 추정하는 새로운 최소 해법을 도입하여 해법의 복잡도를 크게 감소시킨다.
• 모델 추정 이전에 낮은 품질의 아핀 대응을 거부하기 위해 신경망을 훈련시켜 강건성과 수렴 속도를 향상시킨다.
• 가이드드 샘플링은 추정된 모델 기반으로 일관된 일대일 매칭을 반복적으로 선택하여 정확한 점수 평가 및 정밀 조정을 가능하게 한다.
• 다점 최소 해법이 필요 없도록 단일점 해법을 통한 반복적 가설 생성 및 검증을 수행한다.
• 1AC 해법의 안정성을 높이기 위해 하향 방향으로 가정된 중력 우선 정보를 통합한다. 이는 실제 중력 방향이 정확하지 않더라도(예: ScanNet에서 24.8° 오차) 효과적으로 작용한다.

실험 결과

연구 질문

• RQ1 일대다 대응은 모호하거나 반복적인 패턴 조건에서 특징 매칭의 강건성을 향상시킬 수 있는가?
• RQ2 아핀 대응과 중력 우선 정보 기반 단일점 최소 해법은 기존의 다점 최소 해법보다 투영 변환 추정에서 더 우수한 성능을 낼 수 있는가?
• RQ3 가이드드 샘플링을 통한 통합적 매칭 및 강건 추정은 순차적 매칭과 RANSAC 기반 파이프라인보다 더 높은 정확도를 달성하는가?
• RQ4 아핀 대응에 대한 학습된 거부 헤드는 모델 품질 향상과 실행 시간 단축에 기여하는가?
• RQ5 실제 데이터에서 중력 우선 정보가 근사치일 경우 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• PhotoTourism에서 AffineGlue는 이전 최신 기술 수준의 결과보다 AUC@10°를 6.6점 향상시켜 58.1% AUC를 달성했다.
• ScanNet에서 AffineGlue는 SuperPoint+SuperGlue가 검출기 기반 아키텍처가 아닌 LoFTR의 정확도에 도달할 수 있도록 했으며, AUC@20°는 89.2%를 기록했다.
• 1AC + 중력 우선 해법에 신경망 기반 거부 헤드를 적용한 결과, HPatches에서 두 번째로 우수한 방법보다 AUC@1°에서 5점 향상되었다.
• AffineGlue는 실시간으로 동작하며, PhotoTourism에서 투영 변환 추정 평균 추론 시간은 0.04초, 자세 추정은 0.09초였다.
• PhotoTourism에서 DoG+HardNet보다 SuperPoint+SuperGlue와 AffNet 조합이 1.5–2.5 AUC 포인트 높은 성능을 보였으며, 이는 HardNet이 아핀 특징에 대해 훈련되지 않았음에도 불구하고 성능 향상을 이룬 것이다.
• 실제 데이터에서 중력 우선 정보 오차가 24.8°일 경우에도 메서드는 강건하게 유지되어, 부정확한 사전 지식에 대한 높은 내성성을 입증했다.