[논문 리뷰] A metric for evaluating 3D reconstruction and mapping performance with no ground truthing

Guoxiang Zhang, YangQuan Chen|arXiv (Cornell University)|2021. 01. 25.

Robotics and Sensor-Based Localization참고 문헌 16인용 수 4

한 줄 요약

이 논문은 지도 데이터가 필요 없이 3D 재구성 및 SLAM 성능을 평가하기 위한 새로운 지표인 DMP(Dense Map Posterior)를 제안한다. 센서 관측치와 재구성된 지도를 바탕으로 로그우도비를 계산함으로써, SMD 및 궤적 RMSE와 같은 기준 지표와 강한 상관관계를 보이며, 신뢰할 수 있는 자기지도 학습 평가 및 루프 검출 필터링을 가능하게 한다.

ABSTRACT

It is not easy when evaluating 3D mapping performance because existing metrics require ground truth data that can only be collected with special instruments. In this paper, we propose a metric, dense map posterior (DMP), for this evaluation. It can work without any ground truth data. Instead, it calculates a comparable value, reflecting a map posterior probability, from dense point cloud observations. In our experiments, the proposed DMP is benchmarked against ground truth-based metrics. Results show that DMP can provide a similar evaluation capability. The proposed metric makes evaluating different methods more flexible and opens many new possibilities, such as self-supervised methods and more available datasets.

연구 동기 및 목표

• LiDAR나 동작 캡처 궤적과 같은 비용이 많이 들고 확보가 어려운 지도 데이터가 필요한 3D 재구성 및 SLAM 시스템 평가 과제를 해결한다.
• 외부 지도 데이터에 의존하지 않고 센서 관측치와 재구성된 지도만을 사용하여 신뢰할 수 있는 성능 평가 지표를 개발한다.
• 대규모 실세계 데이터셋 제작과 3D 지도에서 자기지도 학습을 지원하기 위한 확장 가능한 자기지도 평가 프레임워크를 제공한다.
• 지도 일관성 기반으로 루프 후보를 순위 매김함으로써 SLAM 파이프라인에서의 잘못된 루프 닫기(false positives)를 줄이는 데 기여한다.

제안 방법

• 베이즈 정리에 따라 센서 관측치를 바탕으로 지도 일관성의 베이지안 추정으로서 DMP를 수식화한다.
• 각 3D 점 또는 깊이 픽셀에 대해 정규분포 우도의 곱을 사용하여 두 지도 가설 간의 로그우도비(LLR)를 계산하며, 평균이 0이고 분산이 알려진 조건을 가정한다.
• 카메라 투영 또는 LiDAR 범위-각도 모델과 같은 센서 모델을 사용하여 재구성된 지도와 궤적에서 예상 관측치를 예측한다.
• 지표를 지도의 음수 로그우도로 정의한다: r(M, Z) = -log p(Z|M). 이는 점수로 사용되며, 낮을수록 더 뛰어난 지도 일관성을 의미한다.
• 현대 GPU에서 효율적인 평가를 위해 CUDA 및 OpenGL 기반 병렬 계산을 구현하여 데이터셋당 평가 시간을 5초 이내로 확보한다.
• 각 루프 후보를 추가한 후 융합된 서페이스 모델의 일관성 평가를 통해 루프 닫기 후보를 순위 매긴다.

실험 결과

연구 질문

• RQ1 지도 데이터가 필요 없이 3D 재구성 및 SLAM 성능을 평가할 수 있는 자기지도 지표를 개발할 수 있는가?
• RQ2 제안된 DMP가 SMD 및 궤적 RMSE와 같은 기존의 지도 기반 지표와 얼마나 잘 상관되는가?
• RQ3 DMP는 SLAM 시스템에서 잘못된 루프 닫기 후보를 효과적으로 순위 매기고 필터링할 수 있는가?
• RQ4 DMP가 지도 기반 지표와 일치하지 않는 상황는 언제 발생하며, 이러한 문제는 어떻게 완화할 수 있는가?

주요 결과

• DMP는 지도 기반 지표와 강한 정적 상관관계를 보이며, 테스트된 데이터셋 전반에서 SMD와의 상관계수는 0.93, 궤적 RMSE와의 상관계수는 0.91이다.
• 이 지표는 열악한 재구성 결과를 효과적으로 식별한다. 예를 들어, 붕괴된 모델은 DMP = 2254.0을 기록하지만, 고품질 재구성 모델은 14.9의 점수를 얻는다.
• 루프 닫기 평가에서 DMP는 높은 정밀도 순위 매기기를 달성하였으며, 재현율이 100%에 도달할 때까지 정밀도가 90% 이상 유지되어 잘못된 루프 후보의 효과적인 필터링이 가능함을 시사한다.
• 계산적으로 효율적이며, NVIDIA Titan X Pascal에서 TUM 데이터셋은 2.7초, ICL-NUIM 데이터셋은 4.2초 내로 평가가 가능하다.
• 평가 오류는 주로 덜 루프가 발생하고 커버리지가 희박한 시퀀스에서 주로 발생하며, 겹치는 스캔을 추가하면 문제를 해결할 수 있다.
• DMP는 지도 데이터 의존성을 제거함으로써 자기지도 학습과 대규모 실세계 데이터셋 제작을 가능하게 한다.