[논문 리뷰] OpenGlue: Open Source Graph Neural Net Based Pipeline for Image Matching

Ostap Viniavskyi, Mariia Dobko외 2명|arXiv (Cornell University)|2022. 04. 19.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

OpenGlue는 그래프 신경망을 활용해 슈퍼글루를 개선한 오픈소스, 파이토치 기반의 이미지 매칭 프레임워크입니다. 향상된 키포인트 기하 구조 인코딩, 비최대 억제(Non-maximum suppression, NMS), 효율적인 어텐션 메커니즘을 통해 구현되었습니다. SIFT 특징에서 우수한 성능을 달성하여 매칭 점수를 최대 18% 향상시키며, 슈퍼글루에 비해 추론 시간과 메모리 사용량을 4배 감소시켰습니다.

ABSTRACT

We present OpenGlue: a free open-source framework for image matching, that uses a Graph Neural Network-based matcher inspired by SuperGlue \cite{sarlin20superglue}. We show that including additional geometrical information, such as local feature scale, orientation, and affine geometry, when available (e.g. for SIFT features), significantly improves the performance of the OpenGlue matcher. We study the influence of the various attention mechanisms on accuracy and speed. We also present a simple architectural improvement by combining local descriptors with context-aware descriptors. The code and pretrained OpenGlue models for the different local features are publicly available.

연구 동기 및 목표

• 로컬 특징 추출기와 사용자 정의 파이프라인 컴포onent을 유연하게 통합할 수 있는 오픈소스이며 모듈러한 이미지 매칭 프레임워크를 개발하는 것.
• 스케일 및 방향성과 같은 기하학적 키포인트 속성을 포함시켜 비학습형 및 부분 학습형 로컬 특징(예: SIFT)의 매칭 정확도를 향상시키는 것.
• 비최대 억제(NMS)가 훈련 및 추론 중 키포인트 필터링에 미치는 영향을 평가하여 더 나은 매칭 성능를 확보하는 것.
• 효율적인 어텐션 메커니즘(선형, FAVOR+)의 성능을 벤치마킹하고 최적화하여 정확도 손실 없이 더 빠른 추론과 낮은 메모리 사용량을 달성하는 것.
• 로컬 디스크립터와 컨텍스트 인식 디스크립터를 잔차 연결을 통해 조합하여 매칭 성능을 향상시키는 것.

제안 방법

• 프레임워크는 네 단계 파이프라인을 구현합니다: 로컬 특징 검출 및 기술자 생성, NMS 기반 키포인트 필터링, 키포인트의 기하학적 및 위치 인코딩(스케일, 방향, 애핀 형상 포함), 그리고 어텐션 메커니즘을 통한 그래프 신경망(GNN) 기반 매칭.
• 기하학적 정보(스케일, 회전, 애핀 형상)는 GNN의 위치 임베딩에 인코딩되어, 특히 SIFT 및 DoG-AffNet-HardNet 특징에서 특징 매칭 성능을 향상시킵니다.
• 비최대 억제(NMS)는 훈련 및 추론 모두에 적용되어 중복된 키포인트를 억제함으로써 매칭 정밀도와 후속 작업 성능을 향상시킵니다.
• GNN는 어텐션 기반 메시지 전달 메커니즘을 사용하며, 정확도와 효율성의 상호 보완을 고려해 소프트맥스, 선형, FAVOR+ 어텐션 변형을 평가합니다.
• 로컬 디스크립터와 컨텍스트 인식 GNN 출력 사이에 잔차 연결을 도입하여 국소 정보를 유지하고 매칭의 강건성을 향상시킵니다.
• 프레임워크는 파이토치 라이트닝과 코르니아 기반으로 구축되어 모듈러한 설계, 확장성, 다양한 특징 추출기(SIFT, DoG-AffNet-HardNet, SuperPoint) 지원을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 위치 인코딩에 키포인트 방향성(스케일, 방향, 애핀 형상)을 통합할 경우 GNN 기반 매칭기에서 정확도에 어떤 영향을 미치는가?
• RQ2 훈련 및 추론 중 키포인트 필터링에 비최대 억제(NMS)를 적용할 경우 이미지 매칭 성능에 어떤 영향을 미치는가?
• RQ3 표준 소프트맥스 어텐션에 비해 선형 및 FAVOR+ 어텐션 메커니즘이 정확도, 추론 속도, 메모리 소비 측면에서 어떻게 비교되는가?
• RQ4 로컬 디스크립터와 컨텍스트 인식 GNN 출력을 조합할 경우 매칭 성능 향상 정도는 어느 정도인가?
• RQ5 SIFT와 같은 비학습형 로컬 특징을 사용할 때 OpenGlue가 낮은 추론 비용을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 위치 인코딩에 키포인트 방향성을 포함시켰을 때, 매칭 점수(MS)는 기하학적 정보 없이 0.1819에서 0.2089로 상승하여 상대적 향상률 14.8%를 기록했습니다. 이는 SIFT 특징을 사용한 MegaDepth 검증 세트에서의 결과입니다.
• 스케일과 방향성을 모두 위치 인코딩에 추가했을 때 MS는 0.2154로 상승하여 기준값 대비 18.8%의 상대적 향상률을 기록했습니다. 이는 다중 기하학적 인코딩의 가치를 입증합니다.
• 훈련 및 추론 단계에서 NMS를 적용함으로써 벤치마크 전반에서 매칭 점수가 1.5–2.5% 향상되었으며, SIFT 및 DoG-AffNet-HardNet 특징에서 가장 높은 향상률을 기록했습니다.
• 선형 또는 FAVOR+ 어텐션 메커니즘을 사용할 경우, 메모리 사용량은 각각 소프트맥스 기준 대비 66.12%와 70.98%로 감소했으며, 매칭 점수의 75%를 유지했습니다. 이는 더 큰 배치 크기로 더 빠른 훈련을 가능하게 했습니다.
• 로컬 디스크립터와 컨텍스트 인식 디스크립터 간의 잔차 연결은 매칭 점수를 2.16% 향상시켰습니다(0.1896에서 0.2112로), 훈련 중 수렴 속도 또한 빨라졌습니다.
• SIFT 특징을 사용한 OpenGlue는 슈퍼글루에 슈퍼포인트를 적용한 것보다 추론 속도가 4배 빠르고 메모리 사용량이 4배 적었으며, SIFT 기반 벤치마크에서 매칭 정확도를 18% 향상시켰습니다.