[논문 리뷰] RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud

Pierre Biasutti, Aurélie Bugeau외 2명|arXiv (Cornell University)|2019. 05. 21.

Advanced Neural Network Applications참고 문헌 21인용 수 19

한 줄 요약

RIU-Net은 3D LiDAR 포인트 클라우드를 2D 레인지이미지로 변환하고 U-Net 아키텍처를 적용하여 단순하면서도 효과적인 의미 분할 방법을 제안한다. 이는 단일 GPU에서 90 FPS의 실시간 추론 성능을 기록하며 KITTI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper proposes RIU-Net (for Range-Image U-Net), the adaptation of a popular semantic segmentation network for the semantic segmentation of a 3D LiDAR point cloud. The point cloud is turned into a 2D range-image by exploiting the topology of the sensor. This image is then used as input to a U-net. This architecture has already proved its efficiency for the task of semantic segmentation of medical images. We demonstrate how it can also be used for the accurate semantic segmentation of a 3D LiDAR point cloud and how it represents a valid bridge between image processing and 3D point cloud processing. Our model is trained on range-images built from KITTI 3D object detection dataset. Experiments show that RIU-Net, despite being very simple, offers results that are comparable to the state-of-the-art of range-image based methods. Finally, we demonstrate that this architecture is able to operate at 90fps on a single GPU, which enables deployment for real-time segmentation.

연구 동기 및 목표

• 기존에 잘 알려진 2D 의미 분할 모델을 3D LiDAR 데이터에 적응시켜 2D 이미지 처리와 3D 포인트 클라우드 분할 간 격차를 메우는 것.
• 전통적인 수작업 특징 파ip라인에서 발생하는 높은 계산 비용과 복잡한 튜닝 문제를 해결하는 것.
• 레인지이미지 표현을 활용할 때, 간단한 오프더셔프 딥러닝 아키텍처(U-Net)가 경쟁 가능한 성능을 낼 수 있음을 보여주는 것.
• 정확도를 희생시키지 않고도 소비자용 하드웨어에서 고프레임레이트를 확보하여 자율주행 시스템에 실시간 추론을 가능하게 하는 것.

제안 방법

• 센서의 구면 구조를 활용하여 3D LiDAR 포인트 클라우드를 2D 레인지이미지로 변환하여 공간적 관계를 유지한다.
• 레인지이미지 입력에 대해 대칭적인 인코더-디코더 아키텍처와 스킵 커넥션을 갖춘 U-Net 아키텍처를 적용하여 픽셀 단위 의미 분할을 수행한다.
• 엔드 투 엔드로 학습하기 위해 교차 엔트로피 손실 함수를 사용하며, 배치 정규화와 Adam 최적화를 적용한다.
• 업샘플링 과정에서 공간적 세부 정보를 유지하기 위해 스킵 커넥션을 활용하여 객체 경계에서의 분할 정확도를 향상시킨다.
• 표준 8057/2791 훈련/검증 분할을 사용하여 KITTI 3D 객체 검출 데이터셋에서 모델을 훈련시키며, 배치 크기는 8, 에포크 수는 10으로 설정한다.
• 해당 레인지이미지 픽셀 좌표 기반으로 최종 분할 결과를 원본 3D 포인트 클라우드로 다시 매핑한다.

실험 결과

연구 질문

• RQ1 원래 2D 의료 영상에 설계된 표준 U-Net 아키텍처가 레인지이미지 표현을 통해 3D LiDAR 포인트 클라우드 의미 분할에 효과적으로 적응될 수 있는가?
• RQ2 이 간단한 적응 방식의 성능은 IoU 및 추론 속도 측면에서 최신 기술 수준의 레인지이미지 기반 방법과 비교해 볼 때 어떻게 되는가?
• RQ3 이러한 아키텍처의 단순성은 특히 희귀하거나 작은 객체(예: 자전거 타는 사람)에 대해 분할 정확도에 어느 정도 영향을 미치는가?
• RQ4 정확도를 저하시키지 않고도 소비자용 하드웨어에서 실시간 추론을 달성할 수 있는가?

주요 결과

• RIU-Net은 KITTI 데이터셋에서 평균 IoU 40.6%를 기록하여 PointSeg(39.8%)와 SqueezeSeg(37.2%)를 앞서며, 최고 성능 클래스에서는 SqueezeSegv2(44.9%)와 동등한 성능을 보였다.
• 자전거 타는 사람에 대해 가장 높은 IoU(36.8%)를 기록하여 SqueezeSegv2(33.6%)를 초월하며, 작은 객체 및 도전적인 객체 클래스에 대한 뛰어난 일반화 능력을 입증했다.
• 단순함에도 불구하고 RIU-Net은 경쟁 가능한 성능을 달성하여, 3D 분할에서 높은 정확도를 얻기 위해 반드시 아키텍처 혁신이 필요한 것은 아님을 시사한다.
• 단일 GPU에서 90 FPS로 작동하여 자율주행 시스템에 실시간 구동이 가능하다.
• 모델은 시각적으로 정확한 분할 결과를 제공하며, 2D 레인지이미지 및 3D 포인트 클라우드 양 측면에서 실제값과 밀도 높은 유사성을 보였다.
• 결과는 U-Net의 스킵 커넥션과 특징 융합 메커니즘이 LiDAR 데이터에서 세밀한 공간적 세부 정보를 효과적으로 유지하는 데 매우 유용하다는 것을 시사한다.