[논문 리뷰] Crowdsourced 3D Mapping: A Combined Multi-View Geometry and Self-Supervised Learning Approach

Hemang Chawla, Matti Jukola외 3명|arXiv (Cornell University)|2020. 07. 25.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 7

한 줄 요약

이 논문은 단일 영상과 GPS 데이터에서 카메라 내부 매개변수를 사전에 알지 못한 채 카메라 내부 매개변수, 깊이, 자가 운동을 추정하기 위해 다중 시점 기하학과 자기지도 학습 기반 딥러닝을 통합하는 컨소시엄 기반 3차원 교통 표지판 지ap 프레임워크를 제안한다. 이는 사전 캘리브레이션 없이도 정확한 3차원 표지판 위치 추정을 가능하게 한다. 제안된 방법은 시퀀스 전반에서 평균 상대 위치 오차 0.39 m와 절대 오차 1.26 m를 기록하며, 알려진 내부 매개변수나 추가 센서가 필요로 하는 이전 방법들을 능가한다.

ABSTRACT

The ability to efficiently utilize crowdsourced visual data carries immense potential for the domains of large scale dynamic mapping and autonomous driving. However, state-of-the-art methods for crowdsourced 3D mapping assume prior knowledge of camera intrinsics. In this work, we propose a framework that estimates the 3D positions of semantically meaningful landmarks such as traffic signs without assuming known camera intrinsics, using only monocular color camera and GPS. We utilize multi-view geometry as well as deep learning based self-calibration, depth, and ego-motion estimation for traffic sign positioning, and show that combining their strengths is important for increasing the map coverage. To facilitate research on this task, we construct and make available a KITTI based 3D traffic sign ground truth positioning dataset. Using our proposed framework, we achieve an average single-journey relative and absolute positioning accuracy of 39cm and 1.26m respectively, on this dataset.

연구 동기 및 목표

• 소비자용 센서를 사용하여 사전 캘리브레이션 없이 대규모이고 비용 효율적인 3차원 교통 표지판 지도 제작을 가능하게 하기 위해.
• 컨소시엄 시각 데이터에서 알려지지 않았거나 변하는 카메라 내부 매개변수 문제를 해결하기 위해.
• 다중 시점 기하학과 딥러닝 기반 자가 캘리브레이션, 깊이 및 자가 운동 추정을 융합하여 지도 커버리지와 정확도를 향상시키기 위해.
• 기준 비교를 위한 공개 가능한 KITTI 기반 3차원 교통 표지판 진짜값 데이터셋 제공을 위해.

제안 방법

• 프레임워크는 캘리브레이션된 센서나 인ert리얼 모션 유닛(IMU)에 의존하지 않는 단일 RGB 영상과 GPS 데이터를 입력으로 사용한다.
• 구조-에서-운동 및 번들 조정을 통한 자가 캘리브레이션 및 자가 운동 추정을 위해 다중 시점 기하학 기법(예: COLMAP)을 적용한다.
• 지표 깊이가 없는 상태에서 훈련되는 자기지도 학습 딥러닝 모델(Monodepth2 및 VITW)을 사용해 단일 영상 기반 깊이 및 자가 운동 추정을 수행한다.
• 기하학 기반 추적(ORB-SLAM, 루프 클로징 유무 포함)과 학습된 깊이 맵을 융합한 하이브리드 접근 방식을 통해 교통 표지판의 3차원 위치를 삼각측량한다.
• 다중 시점에서의 삼각측량을 통해 표지판 위치를 추정하며, 자가 캘리브레이션 결과를 활용해 카메라 투영 행렬을 보정한다.
• 상대 및 절대 위치 오차를 기반으로 시퀀스 전반에서 성능을 평가하며, 캘리브레이션 및 추정 방법에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 카메라 내부 매개변수가 알려지지 않았을 때, 자가 캘리브레이션 정밀도가 3차원 교통 표지판 삼각측량 정확도에 어떻게 영향을 미치는가?
• RQ2 컨소시엄 지도 제작에서 기하학 기반 방법과 딥러닝 기반 방법 간의 자가 캘리브레이션, 깊이 추정 및 자가 운동 추정의 비교 성능은 어떠한가?
• RQ3 다중 시점 기하학과 자기지도 학습을 융합한 하이브리드 프레임워크는 순수 기하학 또는 순수 학습 기반 접근 방식에 비해 지도 커버리지와 3차원 표지판 정렬 정확도를 향상시키는가?
• RQ4 IMU나 알려진 내부 매개변수를 추가로 사용하는 시스템과 비교해, 단일 영상과 GPS 데이터만을 사용하는 경우 3차원 표지판 위치 정확도는 어떻게 되는가?

주요 결과

• 제안된 프레임워크는 모든 시퀀스에서 평균 상대 3차원 교통 표지판 위치 오차 0.39 m와 평균 절대 오차 1.26 m를 기록하며, 알려진 카메라 내부 매개변수 없이도 높은 정확도를 확보한다.
• ORB-SLAM에 루프 클로징을 적용하고 COLMAP 기반 자가 캘리브레이션을 융합한 접근 방식이 가장 우수한 상대 위치 정확도를 기록하였으며, 표지판 당 정규화된 상대 오차 0.24 m를 기록했다.
• 추적 실패가 발생한 시퀀스(예: Seq 1)에서는 Monodepth2를 사용한 깊이 추정과 COLMAP를 사용한 캘리브레이션을 적용한 Approach B가 가장 낮은 오차(상대 오차 0.58 m)를 기록하여 도전적인 조건에서도 뛰어난 내성적 성능을 입증했다.
• COLMAP나 VITW(m)를 통한 자가 캘리브레이션 사용은 캘리브레이션 없이 사용한 경우에 비해 표지판 위치 정확도가 유의미하게 향상되었으며, 내부 매개변수 추정의 중요성을 확인한다.
• 하이브리드 프레임워크는 장거리 궤적과 특징이 적은 환경에서 순수 기하학적 또는 순수 딥러닝 기반 접근 방식보다 뛰어난 성능을 보였다.
• 공개된 KITTI 기반 3차원 교통 표지판 진짜값 데이터셋은 향후 컨소시엄 기반 지도 제작 방법의 재현 가능성 평가 및 기준 비교를 가능하게 한다.