[논문 리뷰] RGB and LiDAR fusion based 3D Semantic Segmentation for Autonomous Driving

Khaled El Madawy, Hazem Rashed외 4명|arXiv (Cornell University)|2019. 06. 01.

Advanced Neural Network Applications참고 문헌 16인용 수 23

한 줄 요약

이 논문은 자율주행 환경에서 3차원 세분화를 위해 RGB 이미지와 LiDAR 포인트 클라우드의 조기 및 중간 수준의 융합을 제안하며, RGB 데이터를 LiDAR와 정렬하기 위해 펄스-그리드 매핑 표현을 사용한다. SqueezeSeg 및 PointSeg 아키텍처를 사용하여 KITTI 데이터셋에서 LiDAR 전용 기준 대비 상대적으로 mIoU가 10% 향상되었다.

ABSTRACT

LiDAR has become a standard sensor for autonomous driving applications as they provide highly precise 3D point clouds. LiDAR is also robust for low-light scenarios at night-time or due to shadows where the performance of cameras is degraded. LiDAR perception is gradually becoming mature for algorithms including object detection and SLAM. However, semantic segmentation algorithm remains to be relatively less explored. Motivated by the fact that semantic segmentation is a mature algorithm on image data, we explore sensor fusion based 3D segmentation. Our main contribution is to convert the RGB image to a polar-grid mapping representation used for LiDAR and design early and mid-level fusion architectures. Additionally, we design a hybrid fusion architecture that combines both fusion algorithms. We evaluate our algorithm on KITTI dataset which provides segmentation annotation for cars, pedestrians and cyclists. We evaluate two state-of-the-art architectures namely SqueezeSeg and PointSeg and improve the mIoU score by 10 % in both cases relative to the LiDAR only baseline.

연구 동기 및 목표

• 자율주행 환경에서 보완적인 RGB 및 LiDAR 데이터 융합을 통해 3차원 세분화 성능을 향상시키기 위해.
• 카메라에서 얻는 풍부한 색상 정보를 통합하여 LiDAR 전용 세분화의 제한된 성능을 개선하기 위해.
• 3차원 세분화에서 센서 융합을 위한 조기 및 중간 수준 융합 전략을 체계적으로 평가하기 위해.
• 특징 수준에서 RGB 및 LiDAR 데이터의 효과적 융합을 가능하게 하는 펄스-그리드 표현을 설계하기 위해.
• 자율주행 응용 분야에서 실시간 추론을 유지하면서도 KITTI 벤치마크에서 세분화 정확도를 크게 향상시키기 위해.

제안 방법

• RGB 이미지를 LiDAR 포인트 클라우드 기하학과 일치시키기 위해 펄스-그리드 매핑 표현으로 변환한다.
• CNN 기반 아키텍처에서 특징 추출 이전에 원시 RGB 및 LiDAR 데이터를 연결하여 조기 융합을 구현한다.
• RGB 및 LiDAR 브랜치에서 별도로 특징을 추출한 후 이를 연결하여 세분화를 위한 중간 수준 융합을 구현한다.
• 조기 및 중간 수준 융합의 보완적 강점을 활용하기 위해 둘 다를 결합한 하이브리드 융합 전략을 설계한다.
• 제안된 융합 프레임워크를 사용하여 SqueezeSeg 및 PointSeg와 같은 최신 기술 기반 네트워크를 3차원 세분화에 적응시킨다.
• 표준 분할 및 평가 지표(예: 평균 교차율(mIoU))를 사용하여 KITTI 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 RGB 및 LiDAR 데이터 융합이 LiDAR 전용 접근 방식에 비해 3차원 세분화 성능을 얼마나 향상시키는가?
• RQ2 3차원 세분화 맥락에서 조기 융합 대비 중간 수준 융합 전략의 상대적 효과는 어떠한가?
• RQ3 펄스-그리드 표현이 RGB 및 LiDAR 데이터의 공동 특징 학습을 위해 효과적으로 정렬할 수 있는가?
• RQ4 클래스 불균형과 소형 객체 크기가 세분화 성능에 미치는 영향은 무엇이며, 융합이 이러한 문제를 완화할 수 있는가?
• RQ5 제안된 융합 아키텍처가 자율주행 응용 분야에서 실시간 추론 속도를 얼마나 유지하는가?

주요 결과

• 제안된 RGB-LiDAR 융합 접근 방식은 SqueezeSeg 및 PointSeg 아키텍처 모두에서 LiDAR 전용 기준 대비 상대적으로 mIoU가 10% 향상되었다.
• SqueezeSeg의 경우, XYZDI+DIRGB 하이브리드 융합 방법이 37.4%의 mIoU를 기록하여 LiDAR 전용 기준(33.7%) 대비 3.7%의 절대적 향상률을 보였다.
• PointSeg의 경우, 조기 융합이 37.8%의 mIoU를 기록하여 LiDAR 전용 기준(34.8%) 대비 3% 향상되었고, 중간 융합은 37.6%의 mIoU를 달성했다.
• 보행자 및 자전거 기사 클래스에서 뚜렷한 성능 향상이 관찰되었으며, PointSeg에서 조기 융합과 중간 융합을 각각 3.3% 및 5.8% 향상시켰다.
• 모든 스캔에 대해 약 10ms의 실시간 추론을 달성하였으며, 중간 융합은 융합 없음 기준 대비 오직 3ms의 오버헤드만을 추가했다.
• 정성적 결과를 통해 차량, 보행자 및 자전거의 세분화 정확도가 향상되었으며, 특히 가림이나 소형 객체와 같은 어려운 케이스에서 뚜렷한 개선이 관찰되었다.