[논문 리뷰] DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching

Shuzhe Wang, Juho Kannala외 1명|arXiv (Cornell University)|2023. 06. 21.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

DGC-GNN는 글로벌에서 로컬으로 진행되는 그래프 신경망(GNN)을 통해 기하학적 및 색상 정보를 활용하여 기술자 없는 2D-3D 매칭 방법을 제안한다. 클러스터 기반 트랜스포머를 통해 국소 매칭을 안내하며, 최신 기술 대비 이중으로 정확도를 향상시키고 기술자 기반 접근법과의 정확도 격차를 크게 줄였다.

ABSTRACT

Matching 2D keypoints in an image to a sparse 3D point cloud of the scene without requiring visual descriptors has garnered increased interest due to its low memory requirements, inherent privacy preservation, and reduced need for expensive 3D model maintenance compared to visual descriptor-based methods. However, existing algorithms often compromise on performance, resulting in a significant deterioration compared to their descriptor-based counterparts. In this paper, we introduce DGC-GNN, a novel algorithm that employs a global-to-local Graph Neural Network (GNN) that progressively exploits geometric and color cues to represent keypoints, thereby improving matching accuracy. Our procedure encodes both Euclidean and angular relations at a coarse level, forming the geometric embedding to guide the point matching. We evaluate DGC-GNN on both indoor and outdoor datasets, demonstrating that it not only doubles the accuracy of the state-of-the-art visual descriptor-free algorithm but also substantially narrows the performance gap between descriptor-based and descriptor-free methods.

연구 동기 및 목표

• 기술자 없는 2D-3D 매칭의 한계, 즉 기술자 기반 방법 대비 낮은 내성성 및 성능 저하 문제를 해결하기 위해.
• 특히 기하학적으로 모호한 환경에서 기하학적 정보만으로도 신뢰할 수 있는 매칭이 가능한지 탐색하기 위해.
• 계층적 글로벌에서 로컬으로 진행되는 GNN 아키텍처 내에서 기하학적 및 색상 정보를 통합하여 매칭의 내성성을 향상시키기 위해.
• 3D 환경 모델에 고차원 시각 기술자를 저장함으로써 발생하는 메모리 사용량 및 개인정보 위험을 줄이기 위해.
• 성능 저하 없이 다양한 실내 및 실외 환경, 그리고 관건 검출기에서 일반화 가능한 방법을 개발하기 위해.

제안 방법

• 이 방법은 먼저 클러스터 기반 트랜스포머를 사용해 글로벌 기하학적 및 색상 특징을 인코딩하여 기하학적 임베딩을 형성하는 글로벌에서 로컬으로 진행되는 GNN을 활용한다.
• 粗모양 수준에서 키포인트 간 유클리드 거리와 각도 관계를 포착하기 위해 거리-각도 임베딩을 계산한다.
• 글로벌 임베딩이 국소 매칭을 안내하며, 국소 클러스터 내에서 정보 흐름을 제약하는 클러스터링 메커니즘이 도입된다.
• 네트워크는 RGB 색상 특징과 기하 좌표를 융합하고, 국소 점 표현을 개선하기 위해 학습 가능한 어텐션 메커니즘을 사용한다.
• 시각 기술자를 요구하지 않고, 기하학적 최적화를 미분 가능하게 사용하여 엔드 투 엔드로 2D-3D 대응 관계를 예측하도록 모델을 훈련시킨다.
• 글로벌 클러스터 할당에는 K-평균 및 평균 이동 클러스터링을 사용하며, 추론 실험을 통해 클러스터링 알고리즘 선택에 대한 강건성을 확인했다.

Figure 1 : 2D-3D matching (shown by green lines) with the proposed DGC-GNN and GoMatch [ 54 ] . In this example, DGC-GNN obtains 78 correct matches with 0.02 meters camera translation and 0.24 ∘ rotation errors, while GoMatch finds only 17 inliers with a pose error of 0.37 meters and 4.37 ∘ .

실험 결과

연구 질문

• RQ1 기하학적 정보만으로 2D-3D 매칭에서 유사한 구조를 신뢰성 있게 구분할 수 있는가, 아니면 색상 정보와 같은 추가 정보가 필요한가?
• RQ2 기술자 없는 환경에서 글로벌 기하학적 구조를 효과적으로 인코딩하고 국소 매칭을 안내하기 위해 어떻게 활용할 수 있는가?
• RQ3 색상 정보를 통합함으로써 정확도가 향상되지만, 개인정보 보호나 메모리 오버헤드는 증가하지 않는가?
• RQ4 동일한 3D 포인트 클라우드를 사용할 때, 기술자 없는 방법과 기술자 기반 방법 간의 성능 비교는 어떻게 되는가?
• RQ5 제안된 방법이 다양한 데이터셋, 관건 검출기, 환경 유형 간에 일반화 가능한가?

주요 결과

• DGC-GNN는 실내 및 실외 데이터셋에서 최신 기술 대비 기술자 없는 방법인 GoMatch의 정확도를 두 배로 높였다.
• 7Scenes 데이터셋에서, DGC-GNN는 ScanNet에서 훈련하고 SIFT로 평가했을 때 중앙값 이동 오차 1.43cm, 회전 오차 13.43°를 기록하여 GoMatch를 초월했다.
• 기술자 없는 방법과 기술자 기반 방법 간의 성능 격차를 줄여 포즈 추정에서 거의 최신 기술 수준의 정확도를 달성했다.
• 추론 실험 결과 기하학적 임베딩(G. Emb.)이 레이블 기반 임베딩(G. Label)보다 우수함을 입증하여 글로벌 표현에서 기하학적 정보의 중요성을 강조했다.
• K-평균과 평균 이동 클러스터링 간의 성능 차이가 미미하여, 다양한 클러스터링 알고리즘에 대해 강건함을 입증했다.
• SuperPoint를 SIFT 대신 사용할 경우 성능 저하가 미미하여, 다양한 데이터셋과 관건 검출기 간에 잘 일반화됨을 확인했다.

Figure 2 : Pipeline overview. For keypoints from the 2D image and 3D points from the point cloud, the proposed DGC-GNN (1) considers the bearing vectors and the color at each bearing vector as input. (2) It extracts the point-wise position and color features with two separate encoders and mixes the