[논문 리뷰] LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception

Dongqiangzi Ye, Zixiang Zhou외 5명|arXiv (Cornell University)|2022. 09. 19.

Advanced Neural Network Applications인용 수 6

한 줄 요약

LidarMultiNet는 공유된 범용 볼록 기반 인코더-디코더 백본에 글로벌 컨텍스트 풀링(GCP) 모듈을 통합하여 3D 객체 검출, 세분화, 팬옵티크 세분화를 동시에 수행하는 통합형 엔드 투 엔드 3D LiDAR 인식 네트워크를 제안한다. 이는 Waymo 2022 3D 세분화 도전 대회에서 mIoU 82.0으로 1위를 기록하고, nuScenes 및 Waymo 검출 벤치마크에서 새로운 SOTA 성능을 달성하며 다섯 가지 주요 벤치마크에서 최신 기술 수준을 확립한다.

ABSTRACT

LiDAR-based 3D object detection, semantic segmentation, and panoptic segmentation are usually implemented in specialized networks with distinctive architectures that are difficult to adapt to each other. This paper presents LidarMultiNet, a LiDAR-based multi-task network that unifies these three major LiDAR perception tasks. Among its many benefits, a multi-task network can reduce the overall cost by sharing weights and computation among multiple tasks. However, it typically underperforms compared to independently combined single-task models. The proposed LidarMultiNet aims to bridge the performance gap between the multi-task network and multiple single-task networks. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder architecture with a Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame. Task-specific heads are added on top of the network to perform the three LiDAR perception tasks. More tasks can be implemented simply by adding new task-specific heads while introducing little additional cost. A second stage is also proposed to refine the first-stage segmentation and generate accurate panoptic segmentation results. LidarMultiNet is extensively tested on both Waymo Open Dataset and nuScenes dataset, demonstrating for the first time that major LiDAR perception tasks can be unified in a single strong network that is trained end-to-end and achieves state-of-the-art performance. Notably, LidarMultiNet reaches the official 1st place in the Waymo Open Dataset 3D semantic segmentation challenge 2022 with the highest mIoU and the best accuracy for most of the 22 classes on the test set, using only LiDAR points as input. It also sets the new state-of-the-art for a single model on the Waymo 3D object detection benchmark and three nuScenes benchmarks.

연구 동기 및 목표

• 3D 객체 검출, 세분화 및 팬옵티크 세분화와 같은 세 가지 주요 LiDAR 인식 작업을 단일 다중 작업 네트워크로 통합하여 계산 비용을 줄이고 효율성을 향상시키는 것.
• LiDAR 인식에서 다중 작업 네트워크와 전문화된 단일 작업 모델 간의 성능 격차를 줄이기 위해 글로벌 특징 학습과 작업 간 상호보완성을 향상시키는 것.
• 가벼운 작업 전용 헤드를 추가함으로써 새로운 인식 작업에 쉽게 확장 가능하게 하여 계산 오버헤드를 최소화하는 것.
• 단일 LiDAR 입력만을 사용하여 Waymo Open Dataset 및 nuScenes와 같은 대규모 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.
• 다양한 작업 간 공동 훈련이 특징 표현과 세분화 정확도를 향상시키며, 특히 이중 단계 보정 프로세스를 통해 성능 향상이 이루어지는지 입증하는 것.

제안 방법

• LiDAR 포인트 클라우드를 효율적으로 처리하기 위해 서브맨폴드 및 표준 희소 컨볼루션을 사용하는 3D 볼록 기반 인코더-디코더 아키텍처를 구현한다.
• 희소 3D 텐서 전역에서 글로벌 컨텍스트 특징을 집계하여 장거리 의존성 학습을 향상시키는 글로벌 컨텍스트 풀링(GCP) 모듈을 도입한다.
• 공유된 백본 위에 3D 객체 검출, 세분화 및 팬옵티크 세분화를 위한 작업 전용 헤드를 배치한다.
• 이중 단계 보정 메커니즘을 적용한다: 첫 번째 단계는 초기 예측을 생성하고, 두 번째 단계는 정확한 팬옵티크 결과를 도출하기 위해 전경 세분화를 보정한다.
• 성능 향상을 위해 기하학적 변환(뒤집기, 회전, 스케일링, 이동)과 7개의 변형을 포함한 모델 앙상블을 포함하는 테스트 시 시간 증강(TTA)을 적용한다.
• 모든 작업 간 공동 최적화를 통해 전체 네트워크를 엔드 투 엔드로 훈련시키며, 공유된 특징을 활용해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 LiDAR 입력만을 사용하여 3D 객체 검출, 세분화 및 팬옵티크 세분화를 동시에 수행하는 통합형 다중 작업 네트워크가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 글로벌 컨텍스트 풀링(GCP) 모듈의 통합이 희소 3D 컨볼루션 네트워크에서 LiDAR 인식을 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 전용 팬옵티크 헤드 없이도 이중 단계 보정 프로세스가 팬옵티크 세분화 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 다양한 인식 작업 간 공동 훈련이 단일 작업 모델보다 더 높은 성능을 내는가, 특히 mIoU 및 PQ 지표 측면에서 어떻게 성능 향상이 이루어지는가?
• RQ5 다중 작업 네트워크는 정확도와 추론 속도 측면에서 단일 작업 모델을 능가하면서도 높은 효율성을 유지할 수 있는가?

주요 결과

• LidarMultiNet은 Waymo Open Dataset 3D 세분화 도전 대회 2022에서 공식 1위를 기록하였으며, 단일 LiDAR 입력만으로도 테스트 세트에서 mIoU 82.0을 달성하였다.
• Waymo 3D 객체 검출 벤치마크에서 LidarMultiNet은 단일 모델 기준으로 최신 기술 수준을 확립하였으며, mAPH L2 점수로 최고 기록을 수립하였다.
• nuScenes 데이터셋에서 LidarMultiNet은 3D 세분화 및 팬옵티크 세분화 모두에서 새로운 SOTA 성능을 기록하였으며, 이전 최신 기술 수준을 초월하였다.
• 두 번째 단계 보정 모듈은 nuScenes 검증 세트에서 mIoU를 81.7에서 82.0으로, PQ를 81.2에서 81.8로 향상시켜 그 효과를 입증하였다.
• A100 GPU를 사용하여 nuScenes에서 첫 번째 단계 추론 시간은 126ms, Waymo에서는 145ms를 기록하였으며, 전체 모델 크기는 135MB로 높은 효율성을 보였다.
• 테스트 시 시간 증강과 7개 모델의 앙상블를 통해 LidarMultiNet은 성능을 추가로 향상시켰으며, 아키텍처의 강건성과 확장 가능성을 확인하였다.