[논문 리뷰] LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network

Dongqiangzi Ye, Weijia Chen외 5명|arXiv (Cornell University)|2022. 06. 23.

Advanced Neural Network Applications인용 수 7

한 줄 요약

LidarMultiNet는 하나의 엔드 투 엔드 훈련 가능한 네트워크에서 종합적으로 3D 세분화, 3D 객체 검출, 패노픽 세분화를 수행하는 통합된 3D LiDAR 인식 프레임워크를 제안한다. 이는 개선된 전역 특징 학습을 위한 새로운 글로벌 컨텍스트 풀링(GCP) 모듈을 갖춘 3D 희소 컨볼루션 기반 인코더-디코더를 사용하며, 정확도 향상을 위한 이중 단계 보정을 포함한다. Waymo Open Dataset 3D 세분화 랭킹에서 71.13 mIoU를 기록하여 모든 방법 중 1위를 달성하였다.

ABSTRACT

This technical report presents the 1st place winning solution for the Waymo Open Dataset 3D semantic segmentation challenge 2022. Our network, termed LidarMultiNet, unifies the major LiDAR perception tasks such as 3D semantic segmentation, object detection, and panoptic segmentation in a single framework. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder network with a novel Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame to complement its local features. An optional second stage is proposed to refine the first-stage segmentation or generate accurate panoptic segmentation results. Our solution achieves a mIoU of 71.13 and is the best for most of the 22 classes on the Waymo 3D semantic segmentation test set, outperforming all the other 3D semantic segmentation methods on the official leaderboard. We demonstrate for the first time that major LiDAR perception tasks can be unified in a single strong network that can be trained end-to-end.

연구 동기 및 목표

• 3D 세분화, 3D 객체 검출, 패노픽 세분화와 같은 주요 LiDAR 인식 작업들을 하나의 다중 작업 네트워크로 통합하는 것.
• 희소 컨볼루션으로 인해 장거리 컨텍스트를 잘 못 다루는 3D 바이얼 기반 네트워크에서 전역 특징 표현을 향상시키는 것.
• 공유된 특징을 활용하여 다수의 인식 작업을 엔드 투 엔드로 훈련시키고, 작업 간 상호보완 효과를 통해 성능을 향상시키는 것.
• 단일 강력한 네트워크가 개별 작업을 위해 특화된 모델들을 능가할 수 있는지 입증하는 것.

제안 방법

• 0.1m × 0.1m × 0.15m 해상도의 바이얼 격자로 변환된 LiDAR 포인트 클라우드를 처리하는 3D 희소 컨볼루션 기반 인코더-디코더 기반 아키텍처.
• 글로벌 컨텍스트 풀링(GCP) 모듈은 희소 바이얼 특징을 밀도 있는 BEV 표현으로 변환하고, 다중 스케일 2D 컨볼루션을 적용하여 전역 컨텍스트를 추출함으로써 특징 학습을 향상시킨다.
• BEV 특징 맵에 빌드업된 뷰(BEV) 세분화 및 3D 객체 검출을 위한 보조 헤드를 부착하여 다중 작업 감독을 제공한다.
• 선택적 이중 단계 보정 모듈은 첫 번째 단계 예측을 정밀하게 보정하거나 패노픽 세분화 출력을 생성함으로써 세분화 품질을 향상시킨다.
• 과거 LiDAR 프레임의 다중 스위프 입력을 사용하여 포인트 클라우드의 밀도를 풍부화하고 특징 표현을 향상시킨다.
• 데이터 증강에는 무작위 플립, 스케일링, 회전, 이동이 포함되며, 차량 자세 정보를 활용하여 최대 3개의 LiDAR 프레임을 시간적으로 융합한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 LiDAR 포인트 클라우드에 대해 3D 세분화, 3D 객체 검출, 패노픽 세분화를 효과적으로 통합할 수 있는가?
• RQ2 효율성을 해치지 않으면서 희소 3D 바이얼 기반 네트워크에서 전역 컨텍스트 특징을 효과적으로 학습할 수 있는가?
• RQ3 다양한 인식 작업을 함께 훈련시키는 것이 개별적으로 훈련시키는 것보다 성능을 향상시키는가?
• RQ4 이중 단계 보정 메커니즘이 다중 작업 환경에서 세분화 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• LidarMultiNet은 Waymo Open Dataset 3D 세분화 테스트 세트에서 71.13 mIoU를 기록하여 공식 랭킹에서 1위를 달성하였다.
• 22개의 세분화 클래스 중 15개에서 다른 모든 방법들을 능가하여 뛰어난 일반화 능력과 클래스별 정확도를 입증하였다.
• 제거 실험 결과, 다중 스위프 입력, GCP, 보조 손실, 이중 단계 보정 등 각 구성 요소가 성능 향상에 점진적으로 기여하였으며, 특히 이중 단계 모듈이 0.34 mIoU 향상을 기록하였다.
• 테스트 시 증강 및 7개 모델의 앙상블을 통해 검증 세트에서 mIoU가 73.78로 향상되었으며, 최종 제출 결과는 테스트 세트에서 71.13 mIoU를 기록하였다.
• 제안된 글로벌 컨텍스트 풀링(GCP) 모듈은 기본 모델 대비 0.94 mIoU 향상을 기록하여 장거리 의존성을 효과적으로 포착함을 입증하였다.
• 공유된 특징과 보조 감독을 활용한 엔드 투 엔드 다중 작업 훈련 전략은 모든 작업에서 일관된 성능 향상을 이끌어냈다.