[논문 리뷰] 2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

Mengdan Feng, Sixing Hu외 2명|arXiv (Cornell University)|2019. 04. 22.

Robotics and Sensor-Based Localization참고 문헌 32인용 수 5

한 줄 요약

이 논문은 2D 이미지와 3D 포인트 클라우드 키포인트 기술자(descriptor)를 동시에 학습시켜 직접적인 2D-3D 키포인트 매칭을 가능하게 하는 딥러닝 프레임워크인 2D3D-MatchNet을 제안한다. 새로운 대규모 옥스포드 2D-3D 패치 데이터셋을 기반으로 훈련함으로써, 옥스포드 로봇카 데이터셋에서 평균 이동 오차 1.41m와 회전 오차 6.40°를 기록하며 최신 기술 수준의 국소화 성능을 달성하며, LiDAR에서 유도된 3D 지도를 사용한 강력한 카메라 자세 추정을 가능하게 한다.

ABSTRACT

Large-scale point cloud generated from 3D sensors is more accurate than its image-based counterpart. However, it is seldom used in visual pose estimation due to the difficulty in obtaining 2D-3D image to point cloud correspondences. In this paper, we propose the 2D3D-MatchNet - an end-to-end deep network architecture to jointly learn the descriptors for 2D and 3D keypoint from image and point cloud, respectively. As a result, we are able to directly match and establish 2D-3D correspondences from the query image and 3D point cloud reference map for visual pose estimation. We create our Oxford 2D-3D Patches dataset from the Oxford Robotcar dataset with the ground truth camera poses and 2D-3D image to point cloud correspondences for training and testing the deep network. Experimental results verify the feasibility of our approach.

연구 동기 및 목표

• 시각적 자세 추정에서 이미지와 3D 포인트 클라우드 간의 직접적인 2D-3D 키포인트 매칭 능력의 부족을 해결하기 위해.
• 일관된 기술자를 학습시켜 고정밀도 LiDAR로 생성된 3D 지도를 시각적 국소화에 활용할 수 있도록 하기 위해.
• SfM 기반 3D 지도의 한계(예: 척도 모호성, 노이즈 많은 재구성)를 LiDAR 데이터를 활용하여 극복하기 위해.
• 훈련 및 벤치마킹를 위해 사용할 수 있는 대규모 고품질 2D-3D 키포인트 대응 관계 데이터셋을 구축하기 위해.
• 2D 패치와 3D 포인트 클라우드 볼륨에 대한 기술자를 동시에 최적화하는 엔드 투 엔드 딥 네트워크를 개발하기 위해.

제안 방법

• 매칭되는 2D-3D 키포인트 쌍의 기술자 거리가 작고, 매칭되지 않는 쌍의 거리는 크도록 하는 방식으로, 트리플릿 유사한 딥 네트워크를 사용해 기술자를 학습한다.
• 2D 이미지의 경우 SIFT를, 3D 포인트 클라우드의 경우 ISS를 사용해 키포인트를 추출하고, 이미지 패치와 국소 3D 포인트 클라우드 볼륨을 입력 표현으로 사용한다.
• 새로운 옥스포드 2D-3D 패치 데이터셋을 기반으로 훈련하며, 이 데이터셋에는 432,982개의 정답 2D-3D 키포인트 대응 관계가 포함되어 있다.
• 추론 과정에서 2D 이미지 패치와 3D 포인트 클라우드 볼륨에 대한 기술자를 생성하여 직접적인 2D-3D 매칭을 가능하게 한다.
• 최종 카메라 자세는 매칭된 2D-3D 대응 관계에서 EPnP 알고리즘을 사용해 계산된다.
• 도메인 간의 분별성 있는 기술자 학습을 장려하기 위해 대trastive 손실을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 이미지와 3D 포인트 클라우드 모odal 간에 직접적인 2D-3D 키포인트 매칭을 가능하게 하는 공동 기술자를 효과적으로 학습할 수 있는가?
• RQ2 큰 규모의 도심 환경 한 번의 주행 데이터로 훈련된 모델이 새로운 환경에 일반화되는가?
• RQ3 기술자 차원의 선택이 2D-3D 매칭의 국소화 정확도와 일반화 능력에 미치는 영향은 어떠한가?
• RQ4 학습된 2D-3D 기술자와 함께 사용할 경우, LiDAR에서 유도된 3D 포인트 클라우드가 시각적 자세 추정에서 참조 지도로 효과적으로 사용될 수 있는가?
• RQ5 나무나 평평한 벽과 같은 환경 특성에 기인한 도메인 특이적 과제가 2D-3D 매칭 과정의 강건성에 미치는 영향은 어떠한가?

주요 결과

• 모든 테스트 세트에서 40%의 테스트 프레임을 성공적으로 국소화하였으며, 1,000개의 프레임 중 625개가 128차원 기술자 출력에서 성공적으로 국소화되었다.
• 전체 테스트 세트를 사용하여 옥스포드 로봇카 데이터셋에서 평균 이동 오차는 1.41m, 평균 회전 오차는 6.40°를 기록하였다.
• 128차원 기술자가 정확도와 일반화 능력 사이의 최적의 균형을 이루었으며, 64차원 및 256차원 버전보다 뛰어난 성능을 보였다.
• 모델은 새로운 영역으로의 일반화 능력이 뛰어나, 서브맵 테스트 결과가 전체 테스트 세트 결과와 유사하여 강건성을 잘 보여주었다.
• 국소화 실패의 주요 원인은 밀도 높은 나무로 인한 잡음 키포인트와 평평한 벽 영역에서의 3D 키포인트 부족으로, 도메인 특이적 한계를 드러냈다.
• 정성적 시각화 결과에서 예측된 2D-3D 대응 관계가 정답 자세와 잘 일치함을 확인하여 학습된 기술자의 효과성을 입증하였다.