[논문 리뷰] ClusterGNN: Cluster-based Coarse-to-Fine Graph Neural Network for Efficient Feature Matching

Yan Shi, Junxiong Cai외 4명|arXiv (Cornell University)|2022. 04. 25.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

ClusterGNN는 키포인트를 동적으로 국소 하위그래프로 분할하여 주어진 시각적 특징 매칭에서 계산 및 메모리 비용을 줄이는 클러스터 기반의 계층적 그래프 신경망을 제안한다. 이는 희소 어텐션 계산을 가능하게 하며, SuperGlue 대비 59.7% 빠른 런타임과 58.4% 낮은 메모리 사용량으로 최신 기술 성능을 달성한다. 다양한 작업에서 경쟁력 있는 정확도를 유지한다.

ABSTRACT

Graph Neural Networks (GNNs) with attention have been successfully applied for learning visual feature matching. However, current methods learn with complete graphs, resulting in a quadratic complexity in the number of features. Motivated by a prior observation that self- and cross- attention matrices converge to a sparse representation, we propose ClusterGNN, an attentional GNN architecture which operates on clusters for learning the feature matching task. Using a progressive clustering module we adaptively divide keypoints into different subgraphs to reduce redundant connectivity, and employ a coarse-to-fine paradigm for mitigating miss-classification within images. Our approach yields a 59.7% reduction in runtime and 58.4% reduction in memory consumption for dense detection, compared to current state-of-the-art GNN-based matching, while achieving a competitive performance on various computer vision tasks.

연구 동기 및 목표

• 시각적 특징 매칭에서 어텐션 기반 GNN의 이차적 계산 및 메모리 복잡도를 해결한다.
• 키포인트 어텐션 행렬의 본질적 희소성을 활용하여 완전 그래프에서의 불필요한 메시지 전파를 줄인다.
• 정확도를 희생시키지 않고 효율성을 향상시키기 위해 학습 가능한 점진적 클러스터링 전략을 개발한다.
• 다양한 컴퓨터 비전 작업에서 강건성을 유지하면서도 고밀도 검출 벤치마크에서 높은 효율성과 경쟁 가능한 성능을 달성한다.
• 이미지 간 점진적 정밀도 향상으로 잘못된 그룹화를 방지하는 계층적 클러스터링 메커니즘을 도입한다.

제안 방법

• 어 attention 기반 GNN 레이어를 사용하여 초기화 단계에서 전체 내부 및 상호 이미지 그래프를 구성하고 업데이트하는 Complete Graph Initialization Module을 적용한다.
• 학습된 유사도 기반으로 점진적으로 키포인트를 더 작은 국소 하위그래프로 계층적으로 분할하는 점진적 클러스터링 모듈을 사용하여 전역 연결성을 감소시킨다.
• 각 키포인트가 자신이 속한 클러스터 내 키포인트들만 어텐션하는 국소 그래프를 구성함으로써 희소 어텐션 계산을 가능하게 하고 중복을 줄인다.
• 계층적 접근을 적용: 처음에는 키포인트를 적은 수의 클러스터로 그룹화한 후, 반복적으로 더 세밀한 클러스터로 분할하여 잘못된 분류를 방지한다.
• 내적 유사도를 기반으로 매칭 확률을 계산하기 위해 내적 곱과 이중 소프트맥스를 사용하는 매칭 모듈을 적용하며, 매칭되지 않은 키포인트를 위한 학습 가능한 먼지통을 도입한다.
• 반복적인 Sinkhorn 대신 비반복적 이중 소프트맥스를 사용하여 추론 속도를 향상시키면서도 매칭 품질을 유지한다.

실험 결과

연구 질문

• RQ1 키포인트의 동적 클러스터링이 특징 매칭에서 어텐션 기반 GNN의 계산 및 메모리 오버헤드를 줄일 수 있는가?
• RQ2 계층적 클러스터링 전략이 이미지 내 잘못된 그룹화를 최소화함으로써 매칭 정확도를 향상시키는가?
• RQ3 클러스터 기반 하위그래프에 적용된 희소 어텐션은 전체 그래프 어텐션의 성능을 어느 정도 근사할 수 있는가?
• RQ4 고밀도 검출에서 최신 기술 기반 GNN 특징 매칭(SuperGlue 등)과 비교해 본다면, 제안된 방법은 효율성과 정확도 측면에서 어떤가?
• RQ5 고정된 수의 클러스터와 동적으로 변하는 클러스터 수 사이의 성능 및 효율성 간 상호 교환 관계는 어떠한가?

주요 결과

• Tesla P-100 GPU를 사용한 고밀도 검출(10,000 키포인트 기준)에서 ClusterGNN는 SuperGlue 대비 런타임을 59.7% 감소시키고 메모리 소비를 58.4% 줄였다.
• 상대 자세 추정, 동차성 추정, 시각적 로컬라이제이션 작업에서 최신 기술 성능을 달성했으며, InLoc 데이터셋에서 (0.25m, 2°) 임계값 기준 각각 89.4%, 95.5%, 98.5%의 정확도를 기록했다.
• 고정된 클러스터 수보다 변동 가능한 클러스터 수(점진적 정밀화)를 사용할 경우 훨씬 뛰어난 성능을 보였으며, 5° 임계값 기준 42.62%의 정확도를 기록한 반면, 고정된 16개 클러스터에서는 31.26%에 그쳤다.
• 이중 소프트맥스 연산자는 61ms의 추론 시간과 94MB 메모리 소비로 42.62%의 정확도를 달성했으며, 반복적인 Sinkhorn(68ms, 94MB)보다 속도는 빠르고 정확도는 유사하게 유지했다.
• Aachen Day-Night 벤치마크에서 ClusterGNN는 (0.25m, 2°) 임계값 기준 88.6%, 95.5%, 98.4%의 로컬라이제이션 정확도를 기록했으며, 일부 설정에서 SuperGlue를 능가했다.
• 제거 분석 결과 점진적 클러스터링 전략이 필수적임을 확인했으며, 고정된 클러스터 수는 특히 높은 임계값에서 성능 저하를 야기했다.