[논문 리뷰] DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map

Peng Wang, Ruigang Yang외 3명|arXiv (Cornell University)|2018. 05. 13.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 6

한 줄 요약

이 논문은 RGB 영상, GPS/IMU 및 3D 세분화 지도를 사용하여 6-자유도 카메라 자세 추정과 의미 세분화를 동시에 수행하는 통합 딥러닝 프레임워크 DeLS-3D를 제안한다. 자세 컨볼루션 네트워크와 순환 신경망(RNN)을 통해 이러한 다중 모odal 데이터를 융합하고 보완함으로써, 렌더링된 레이블 맵에 의해 안내되는 세분화 컨볼루션 네트워크를 거쳐 실시간 성능(자세 추정 10ms, 세분화 90ms)을 달성하며, 픽셀 정확도 96%와 도수 이하의 자세 오차를 기록하여 현장 위치 측정과 세분화 작업 간 상호 보완적 이점을 입증한다.

ABSTRACT

For applications such as autonomous driving, self-localization/camera pose estimation and scene parsing are crucial technologies. In this paper, we propose a unified framework to tackle these two problems simultaneously. The uniqueness of our design is a sensor fusion scheme which integrates camera videos, motion sensors (GPS/IMU), and a 3D semantic map in order to achieve robustness and efficiency of the system. Specifically, we first have an initial coarse camera pose obtained from consumer-grade GPS/IMU, based on which a label map can be rendered from the 3D semantic map. Then, the rendered label map and the RGB image are jointly fed into a pose CNN, yielding a corrected camera pose. In addition, to incorporate temporal information, a multi-layer recurrent neural network (RNN) is further deployed improve the pose accuracy. Finally, based on the pose from RNN, we render a new label map, which is fed together with the RGB image into a segment CNN which produces per-pixel semantic label. In order to validate our approach, we build a dataset with registered 3D point clouds and video camera images. Both the point clouds and the images are semantically-labeled. Each video frame has ground truth pose from highly accurate motion sensors. We show that practically, pose estimation solely relying on images like PoseNet may fail due to street view confusion, and it is important to fuse multiple sensors. Finally, various ablation studies are performed, which demonstrate the effectiveness of the proposed system. In particular, we show that scene parsing and pose estimation are mutually beneficial to achieve a more robust and accurate system.

연구 동기 및 목표

• 반복적인 구조나 낮은 무늬 특성 등 시각 조건이 열악한 상황에서 영상 중심의 방법의 한계를 해결하기 위해.
• RGB 영상, GPS/IMU 및 3D 의미 지도를 융합하여 외부 환경에서의 로봇 주행 및 증강 현실의 정확성과 내성 강도를 향상시키기 위해.
• 자세 추정과 의미 세분화 간 상호 보완적 지도를 통해 상호 보완적인 학습을 가능하게 하는 통합 딥러닝 프레임워크를 개발하기 위해.
• 고품질의 실세계 데이터셋을 구축하고 공개하기 위해 — 이는 풍부한 3D 의미 점군, 정확한 카메라 자세, 영상 프레임의 픽셀 수준 의미 레이블을 포함한다.
• 시간적 모델링을 위한 순환 신경망(RNN)과 렌더링된 레이블 맵 지도가 통합된 연속적인 위치 측정 및 세분화 프레임워크에서 자세 정확도와 세분화 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 소비자용 GPS/IMU 데이터로부터 초기 근사 자세를 추정하고, 이를 바탕으로 3D 의미 지도에서 2차원 의미 레이블 맵을 렌더링한다.
• 자세 컨볼루션 네트워크는 렌더링된 레이블 맵과 RGB 영상을 융합하여 의미적 맥락을 활용해 자세 추정을 보완한다.
• 다중층 순환 신경망(RNN)은 개선된 자세 시퀀스를 처리하여 순환 모델링을 통해 시간적 일관성과 정확도를 향상시킨다.
• RNN에서 도출된 최종 자세를 바탕으로 새로운 정확한 레이블 맵을 렌더링하고, 이를 RGB 영상과 융합하여 픽셀 단위 의미 세분화를 수행하는 세분화 컨볼루션 네트워크에 입력한다.
• 자세 추정 및 세분화 네트워크가 상호 지도를 통해 공동 최적화되는 통합 학습 및 추론 파이프라인을 사용한다.
• 고정밀 Riegl 라이다를 사용해 3D 의미 점군을 확보하고, 정확한 자세와 픽셀 수준의 레이블이 동기화된 영상 데이터를 포함하는 새로운 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 3D 의미 지도를 RGB 영상 및 GPS/IMU 신호와 융합함으로써, 비시각적 혼란이 있는 외부 환경에서의 카메라 위치 측정 정확도를 크게 향상시킬 수 있는가?
• RQ2 3D 지도에서 유도된 의미 지도가 영상 중심 방법에 비해 6-자유도 카메라 자세 추정의 정확도와 일관성에 얼마나 기여하는가?
• RQ3 통합 위치 측정 및 세분화 프레임워크에서 영상 시퀀스 전반에 걸쳐 자세 추정을 개선하기 위해 순환 신경망(RNN)을 사용하는 것이 얼마나 효과적인가?
• RQ4 렌더링된 의미 레이블 맵을 지도로 활용하면, 특히 세밀하거나 희귀한 물체 클래스에 대해 의미 세분화 네트워크의 성능 향상이 유의미한가?
• RQ5 자세 추정과 의미 세분화를 동시에 최적화하면 별도로 처리하는 것보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 단일 Titan Z GPU에서 자세 추정의 추론 시간이 10ms, 512×608 해상도 영상의 세분화 처리에 90ms로 실시간 성능을 달성한다.
• RNN로 개선된 자세 추정 결과, 어려운 도심 환경에서도 자세 오차가 1도 이내로 유지되어 높은 정밀도를 입증한다.
• 모델 압축 없이도 의미 세분화가 96% 픽셀 정확도를 기록하며, 자세 유도 레이블 맵을 사용할 경우 경계 세부 정보 및 희귀 클래스 탐지에서 뚜렷한 향상이 이루어진다.
• 제거 분석 결과, 진짜 자세를 사용해 레이블 맵을 렌더링하면 Zpark 데이터셋에서 mIOU가 73.10까지 상승하여 강력한 상한 성능을 보임을 확인했다.
• Zpark 데이터셋에서 RNN로 개선된 자세 추정은 자세 컨볼루션 네트워크만 사용할 경우 대비 mIOU 10% 향상되었으며, 특히 기둥이나 표지판과 같은 얇은 구조물에 유의미한 기여를 했다.
• 시각적 결과는 자세 보정이 오차 정렬과 경계 오류를 감소시키며, 물체 레이아웃 일관성과 세부 정보 복원에서 뚜렷한 향상을 보임을 보여준다.