[논문 리뷰] Deep-SLAM++: Object-level RGBD SLAM based on class-specific deep shape priors

Lan Hu, Wanting Xu외 2명|arXiv (Cornell University)|2019. 07. 23.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 12

한 줄 요약

Deep-SLAM++는 신경망에서 유도한 클래스별 딥 샤프트 프리오르를 실시간 깊이 측정치와 통합하여 미지의 실내 환경에서 완전하고 의미적으로 주석이 달린 3D 객체 모델을 생성하는 새로운 RGBD SLAM 시스템을 제안한다. 깊이 측정치 일관성에 기반해 최적의 맞는 형태 프리오르를 이산 선택 전략으로 선택함으로써, 기존 융합 방법에 비해 더 높은 지ap 완성도와 측정 노이즈에 대한 강건성을 달성한다.

ABSTRACT

In an effort to increase the capabilities of SLAM systems and produce object-level representations, the community increasingly investigates the imposition of higher-level priors into the estimation process. One such example is given by employing object detectors to load and register full CAD models. Our work extends this idea to environments with unknown objects and imposes object priors by employing modern class-specific neural networks to generate complete model geometry proposals. The difficulty of using such predictions in a real SLAM scenario is that the prediction performance depends on the view-point and measurement quality, with even small changes of the input data sometimes leading to a large variability in the network output. We propose a discrete selection strategy that finds the best among multiple proposals from different registered views by re-enforcing the agreement with the online depth measurements. The result is an effective object-level RGBD SLAM system that produces compact, high-fidelity, and dense 3D maps with semantic annotations. It outperforms traditional fusion strategies in terms of map completeness and resilience against degrading measurement quality.

연구 동기 및 목표

• 미지의 실내 환경에서 객체 수준의 의미 주석이 달린 3D 지ap을 생성하는 종합적인 RGBD SLAM 시스템을 개발하는 것.
• 시야각과 측정 품질에 따라 깊이 신경망 형태 예측의 성능 변동 문제를 해결하는 것.
• 학습된 형태 프리오르를 실시간 깊이 측정치와 융합하여 재구성 완성도와 강건성을 향상시키는 것.
• 선택적 모델 선택을 통해 메모리 사용량을 줄이면서도 높은 정밀도의 객체 기하학을 유지하는 것.

제안 방법

• 프론트엔드는 상대적 카메라 자세를 추정하고, 객체를 검출 및 분할하며, RGBD 데이터를 기반으로 지면을 피팅한다.
• 클래스별 딥 신경망이 객체의 카테고리에 따라 3D 형태 제안을 생성한다.
• 이산 선택 메커니즘은 다양한 시야에서 유도된 다수의 형태 제안을 평가하고, 실시간 깊이 측정치와 가장 높은 일관성을 보이는 것을 선택한다.
• 백엔드는 그래프 기반 최적화를 수행하여 절대 카메라 및 객체 자세를 정밀하게 보정하며, 루프 클로징 탐지 기능도 포함한다.
• 객체 모델은 이후 시야에서 더 잘 맞는 제안을 통해 초기 제안을 점진적으로 교체함으로써 개선된다.
• 모델 품질과 향상 정도를 정량적으로 평가하기 위해 교차율(IoU)과 캄페르 거리(CD)를 사용한다.

실험 결과

연구 질문

• RQ1 신경망에서 유도한 딥 형태 프리오르가 RGBD SLAM 파이프라인에 효과적으로 통합되어 미지 환경에서 완전한 3D 객체 모델을 재구성할 수 있는가?
• RQ2 실시간 SLAM 추정 과정에서 일관성 없거나 품질이 낮은 신경망 예측을 어떻게 완화할 수 있는가?
• RQ3 학습된 프리오르와 실시간 깊이 측정치를 융합함으로써 순수 측정 융합 대비 지도 완성도와 강건성이 얼마나 향상되는가?
• RQ4 측정 일관성에 기반한 이산 선택 전략이 다수 후보 중 최적의 형태 프리오르를 신뢰성 있게 식별할 수 있는가?

주요 결과

• 향상된 모델은 평균 교차율(IoU)이 초기 모델 대비 37.2% 향상되어 0.2068에서 0.2837로 증가하였다.
• 캄페르 거리(CD) 오차는 0.0947에서 0.0812로 14.2% 감소하여 기준 형태와의 기하학적 정렬이 향상됨을 나타냈다.
• 시스템은 깊이 측정치의 변동성에 대해 강건성을 보였으며, 네트워크가 생성한 모델이 원시 융합 측정치에 비해 정렬 블러를 감소시켰다.
• 다양한 시야에서의 점진적 모델 개선은 객체 기하학의 일관성 있는 향상을 이끌었으며, 반복적인 의자 인스턴스의 경우 그림 11에서 이를 확인할 수 있었다.
• 루프 클로징은 누적된 드리프트를 성공적으로 수정하였으며, 최종 지도에서 빨간 의자의 정렬이 보정되었고, 일관된 객체 레이블링이 유지됨을 입증하였다.