[논문 리뷰] Semi-Dense 3D Semantic Mapping from Monocular SLAM

Xuanpeng Li, Rachid Belaroussi|arXiv (Cornell University)|2016. 11. 13.

Robotics and Sensor-Based Localization참고 문헌 7인용 수 47

한 줄 요약

이 논문은 단안 SLAM과 딥러닝을 활용한 반밀도 3D 의미 맵핑 시스템을 제안한다. 키프레임에서 유도된 2D 의미 레이블이 전역적으로 일관된 3D 맵으로 이 trasfer되며, CRF 기반 정규화를 통해 정밀도가 향상된다. 이 방법은 실시간 성능(~10Hz)을 달성하며, 밀도 높은 프레임 단위 레이블링이나 깊이 센서 없이도 2D 의미 분할 정확도를 향상시킨다.

ABSTRACT

The bundle of geometry and appearance in computer vision has proven to be a promising solution for robots across a wide variety of applications. Stereo cameras and RGB-D sensors are widely used to realise fast 3D reconstruction and trajectory tracking in a dense way. However, they lack flexibility of seamless switch between different scaled environments, i.e., indoor and outdoor scenes. In addition, semantic information are still hard to acquire in a 3D mapping. We address this challenge by combining the state-of-art deep learning method and semi-dense Simultaneous Localisation and Mapping (SLAM) based on video stream from a monocular camera. In our approach, 2D semantic information are transferred to 3D mapping via correspondence between connective Keyframes with spatial consistency. There is no need to obtain a semantic segmentation for each frame in a sequence, so that it could achieve a reasonable computation time. We evaluate our method on indoor/outdoor datasets and lead to an improvement in the 2D semantic labelling over baseline single frame predictions.

연구 동기 및 목표

• 단안 카메라만을 사용하여 실내 및 실외 환경에서 강력한 3D 의미 맵핑을 가능하게 하기 위해.
• 모든 프레임이 아닌 선택된 키프레임에서만 2D 의미 분할을 수행함으로써 계산 비용을 감소시키기 위해.
• 재구성된 맵의 3D 기하학적 일관성과 공간적 맥락을 활용하여 2D 의미 분할 정확도를 향상시키기 위해.
• 재보정이나 센서 전환 없이 실내 및 실외 환경 간 원활한 전환을 가능하게 하기 위해.
• 딥러닝 기반 의미 분할을 반밀도 단안 SLAM과 통합하여 온라인 실시간 3D 장면 이해를 실현하기 위해.

제안 방법

• 시스템은 키프레임을 추적 기준으로 삼는 실시간 반밀도 3D 재구성에 대해 LSD-SLAM을 사용한다.
• 계산 부담을 줄이기 위해 프레임 단위 추론을 피하기 위해, 키프레임에서만 DeepLab 기반 CNN을 사용해 2D 의미 분할을 수행한다.
• SLAM 시스템의 기하학적 대응관계와 깊이 추정을 활용해 2D 키프레임의 의미 레이블을 3D 공간으로 투영한다.
• 최종 3D 맵에 조건부 랜덤 필드(CRF)를 적용하여 레이블을 정규화하고, 이질적인 값과 공간 일관성을 강화한다.
• SLAM 출력에서 유도된 기하학적 구조를 활용해, 특히 깊이가 모호한 영역에서 의미 레이블링을 향상시킨다.
• 시스템은 깊이 센서 없이 원시 RGB 시퀀스를 사용해 NYUv2(실내) 및 KITTI(실외) 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 키프레임에서 유도된 2D 의미 분할이 단안 SLAM을 통해 반밀도 3D 맵으로 효과적으로 전이될 수 있는가?
• RQ2 3D 재구성에서 유도된 기하학적 일관성이 2D 의미 레이블링 정확도를 어떻게 향상시키는가?
• RQ3 단안 SLAM 시스템이 실내 및 실외 환경 간 원활한 3D 의미 맵핑을 가능하게 할 수 있는가?
• RQ4 CRF 기반 정규화가 3D 의미 맵 품질과 레이블 일관성에 어떤 영향을 미치는가?
• RQ5 키프레임 기반 2D 추론은 높은 의미 정확도를 유지하면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 NYUv2 테스트 세트에서 평균 클래스 정확도 68.5%를 달성하여 Hermans 등과 RGBD-SF와 같은 기준 방법들을 능가했다.
• CRF 정규화 이후, NYUv2에서 평균 클래스 정확도가 70.3%로 향상되어 기하학적 정규화의 효과를 입증했다.
• KITTI 실외 데이터셋에서 시스템은 56개의 키프레임을 통해 약 160만 개의 포인트를 포함하는 3D 맵을 재구성하였으며, 실시간 성능(~10Hz)을 유지했다.
• 특히 깊이가 모호하거나 무늬가 없는 영역에서 단일 프레임 예측 대비 2D 의미 분할 정확도가 향상되었다.
• 모든 프레임에 대한 의미 분할을 피하기 때문에 계산 비용을 감소시켜 CPU+GPU 하드웨어에서 실시간 동작이 가능해졌다.
• CRF 정규화는 레이블 이질성과 3D 의미 맵의 공간 일관성을 크게 향상시켰으며, 특히 초기 정확도가 낮은 '침대'와 '책'과 같은 물체에서 두드러진 효과를 보였다.