[논문 리뷰] MASS: Multi-Attentional Semantic Segmentation of LiDAR Data for Dense Top-View Understanding

Kunyu Peng, Juncong Fei외 7명|arXiv (Cornell University)|2021. 07. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

MASS는 LiDAR 데이터의 고밀도 상위 시점 세분화를 위한 다중 주의 기반 딥러닝 프레임워크를 제안하며, 피라미드 특징과 세 가지 주의 메커니즘—핵심점 유도 그래프 주의, LSTM 기반 공간 주의, 피라미드 기반 주의를 활용하여 최신 기술 수준의 성능을 달성한다. SemanticKITTI에서 58.80% mIoU, nuScenes-LidarSeg에서 30.4%를 기록하여 자동 주행 응용 분야에서 뛰어난 일반화 능력과 거의 실시간 추론 성능을 입증한다.

ABSTRACT

At the heart of all automated driving systems is the ability to sense the surroundings, e.g., through semantic segmentation of LiDAR sequences, which experienced a remarkable progress due to the release of large datasets such as SemanticKITTI and nuScenes-LidarSeg. While most previous works focus on sparse segmentation of the LiDAR input, dense output masks provide self-driving cars with almost complete environment information. In this paper, we introduce MASS - a Multi-Attentional Semantic Segmentation model specifically built for dense top-view understanding of the driving scenes. Our framework operates on pillar- and occupancy features and comprises three attention-based building blocks: (1) a keypoint-driven graph attention, (2) an LSTM-based attention computed from a vector embedding of the spatial input, and (3) a pillar-based attention, resulting in a dense 360-degree segmentation mask. With extensive experiments on both, SemanticKITTI and nuScenes-LidarSeg, we quantitatively demonstrate the effectiveness of our model, outperforming the state of the art by 19.0% on SemanticKITTI and reaching 30.4% in mIoU on nuScenes-LidarSeg, where MASS is the first work addressing the dense segmentation task. Furthermore, our multi-attention model is shown to be very effective for 3D object detection validated on the KITTI-3D dataset, showcasing its high generalizability to other tasks related to 3D vision.

연구 동기 및 목표

• 희소 LiDAR 포인트 클라우드에서 고밀도 상위 시점 세분화 문제를 해결함으로써, 희소 포인트 기반 세분화보다 더 풍부한 환경 이해를 가능하게 한다.
• 비정규적이고 희소한 3D 포인트 클라우드에 대한 2D CNN의 한계를 극복하기 위해 피라미드 기반의 종단 간 프레임워크와 주의 메커니즘을 설계한다.
• 다양한 스케일의 데이터 증강과 주의 기반 특징 집약을 통해 실제 주행 환경에서의 일반화 능력과 강건성을 향상시킨다.
• 자기 분석 및 교차 데이터셋 평가를 통해 모델의 이식성과 관련 3D 비전 작업, 예를 들어 3D 객체 탐지에 대한 적용 가능성을 입증한다.

제안 방법

• 프레임워크는 희소 3D LiDAR 포인트 클라우드를 효율적인 2D CNN 처리를 가능하게 하는 고밀도 2D 피라미드 특징으로 변환하기 위해 피라미드 특징 네트워크(PFN)를 사용한다.
• 피라미드 특징를 처리하기 위해 수정된 UNet(M-UNet) 백본이 고밀도 상위 시점 세분화 마스크를 생성한다.
• 세 가지 주의 메커니즘이 통합되어 있다: (1) 국소적 맥락 모델링을 위한 핵심점 기반 그래프 주의, (2) 순차적 의존성 학습을 위한 공간 벡터 임베딩 기반 LSTM 주의, (3) 글로벌 특징 정제를 위한 피라미드 기반 주의.
• 모델은 격자 셀 수준의 레이블에 기반한 교차 엔트로피 손실을 사용하여 종단 간으로 훈련되며, 가시 영역에 제약을 두기 위해 점유도 맵을 통해 감독이 이루어진다.
• 강건성을 향상시키기 위해 무작위 픽업, 회전, 스케일 증강 기법이 적용되며, 성능 저하로 인해 이동 변환은 제외된다.
• 실시간 배포를 최적화하여 GTX 2080Ti에서 프레임당 74ms의 추론 속도를 달성하며, MA는 추가로 약 16ms의 오버헤드만 유발한다.

실험 결과

연구 질문

• RQ1 기존의 희소 또는 2D 세분화 방법과 비교해 볼 때, 다중 주의 메커니즘이 희소 LiDAR 데이터에 대한 고밀도 상위 시점 세분화 성능을 향상시키는가?
• RQ2 제안된 세 가지 주의 모듈—핵심점 기반 그래프 주의, LSTM 기반 공간 주의, 피라미드 기반 주의—는 3D 장면 이해를 위한 국소적 및 글로벌 맥락을 얼마나 효과적으로 포착하는가?
• RQ3 제안된 MASS 프레임워크는 세분화를 넘어서 3D 객체 탐지와 같은 다른 3D 비전 작업으로도 잘 일반화되는가?
• RQ4 무작위 픽업, 회전, 스케일과 같은 데이터 증강 전략은 실제 주행 환경에서 모델의 일반화 능력과 강건성을 얼마나 향상시키는가?

주요 결과

• MASS는 SemanticKITTI 데이터셋에서 58.80% mIoU를 기록하여 최신 기술 수준보다 19.0% 높은 mIoU 성능을 확보한다.
• nuScenes-LidarSeg 벤치마크에서 MASS는 30.4% mIoU로 새로운 최신 기술 수준을 수립하며, 이는 이 데이터셋에서 고밀도 상위 시점 세분화를 다룬 첫 번째 방법이다.
• 자기 분석 결과, 무작위 픽업과 회전은 mIoU를 각각 4.6% 향상시키며, 스케일은 0.6% 향상시켜 증강 기법의 상당한 기여를 입증한다.
• GTX 2080Ti에서 74ms의 프레임당 거의 실시간 추론 속도를 달성하여 실시간 자동 주행 응용 분야에 적합하다.
• 다중 주의 메커니즘은 자기 분석 및 후행 3D 객체 탐지 작업 전반에서 일관된 성능 향상을 보이며 특징 표현 능력을 향상시킨다.
• KITTI-3D 데이터셋에서의 검증을 통해 프레임워크는 3D 객체 탐지로의 일반화 능력이 뛰어나며, 3D 비전 작업 간 강력한 이식성 잠재력을 보여준다.