[논문 리뷰] RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in Autonomous Driving

Angelika Ando, Spyros Gidaris외 4명|arXiv (Cornell University)|2023. 01. 24.

Advanced Neural Network Applications인용 수 4

한 줄 요약

RangeViT는 범위 투영을 사용하여 LiDAR 포인트 클라우드의 3D 의미 분할을 위한 비전 트랜스포머(ViT)-기반 방법을 제안한다. 이는 ImageNet에서 사전 훈련된 ViT를 활용하며, 컨볼루션 스템과 경량 컨볼루션 디코더를 통해 성능을 향상시킨다. nuScenes와 SemanticKITTI에서 2D 투영 기반 방법 중 최고 성능을 기록하며, 자연 이미지에서 사전 훈련된 ViT가 희박하고 노이즈가 많은 LiDAR 데이터에 최소한의 아키텍처 수정으로 효과적으로 전이될 수 있음을 보여준다.

ABSTRACT

Casting semantic segmentation of outdoor LiDAR point clouds as a 2D problem, e.g., via range projection, is an effective and popular approach. These projection-based methods usually benefit from fast computations and, when combined with techniques which use other point cloud representations, achieve state-of-the-art results. Today, projection-based methods leverage 2D CNNs but recent advances in computer vision show that vision transformers (ViTs) have achieved state-of-the-art results in many image-based benchmarks. In this work, we question if projection-based methods for 3D semantic segmentation can benefit from these latest improvements on ViTs. We answer positively but only after combining them with three key ingredients: (a) ViTs are notoriously hard to train and require a lot of training data to learn powerful representations. By preserving the same backbone architecture as for RGB images, we can exploit the knowledge from long training on large image collections that are much cheaper to acquire and annotate than point clouds. We reach our best results with pre-trained ViTs on large image datasets. (b) We compensate ViTs' lack of inductive bias by substituting a tailored convolutional stem for the classical linear embedding layer. (c) We refine pixel-wise predictions with a convolutional decoder and a skip connection from the convolutional stem to combine low-level but fine-grained features of the the convolutional stem with the high-level but coarse predictions of the ViT encoder. With these ingredients, we show that our method, called RangeViT, outperforms existing projection-based methods on nuScenes and SemanticKITTI. The code is available at https://github.com/valeoai/rangevit.

연구 동기 및 목표

• 비전 트랜스포머(ViTs)가 2D 투영 기반의 LiDAR 포인트 클라우드 3D 의미 분할에 기여할 수 있는지 조사한다.
• ViT의 인덕티브 바이어스 부족과 소규모 데이터셋에서의 낮은 성능 문제를 해결하기 위해 입력 처리 방식을 적응시키고 하이브리드 인코더-디코더 아키텍처를 도입한다.
• 자연 이미지와 범위 투영 간 도메인 갭이 존재함에도 불구하고 ImageNet에서 사전 훈련된 ViT가 LiDAR 데이터로의 전이 가능성에 대해 평가한다.
• 다양한 모odal 간에 네트워크 아키텍처를 통일하기 위해 ViT 백본을 이미지와 3D 포인트 클라우드 작업 간에 재사용한다.
• 희박한 LiDAR 데이터를 사용한 ViT 기반 3D 분할에 대한 단순하면서도 효과적인 베이스라인을 설정한다.

제안 방법

• 3D LiDAR 포인트 클라우드를 2D 베이드의 시야 특징 맵으로 범위 투영한다.
• 표준 ViT와 유사한 패치 기반 토큰화 전략을 사용하여 투영된 2D 맵에서 시각 토큰을 추출한다.
• ImageNet-21k 사전 훈련을 통해 초기화된 가중치를 가진 사전 훈련된 비전 트랜스포머 인코더(ViT-S 등)를 사용하여 고수준 표현을 추출한다.
• 표준 선형 임베딩 레이어 대신 다층 컨볼루션 스템을 도입하여 인덕티브 바이어스를 통합하고 희박한 범위 투영에서의 특징 학습을 향상시킨다.
• 컨볼루션 스템에서의 스킵 연결을 갖춘 경량 컨볼루션 디코더는 저수준의 공간적 세부 정보를 융합하여 ViT 예측의 정밀도를 향상시킨다.
• 픽셀 단위의 예측을 업샘플링하고 3D 공간으로 다시 투영하여 최종 의미 레이블링을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 자연 이미지 데이터셋에서 사전 훈련된 비전 트랜스포머가 도메인 갭이 존재함에도 불구하고 3D LiDAR 의미 분할에 효과적으로 미세조정될 수 있는가?
• RQ2 ViT의 표준 선형 임베딩 레이어를 컨볼루션 스템으로 대체함으로써 희박하고 노이즈가 많은 LiDAR 범위 투영에서 성능 향상이 이루어지는가?
• RQ3 스템에서의 스킵 연결을 갖춘 경량 컨볼루션 디코더가 ViT 기반 예측의 품질을 3D 분할에서 향상시킬 수 있는가?
• RQ4 기존의 CNN 기반 투영 방법과 비교했을 때 ViT 기반 모델의 성능은 표준 자율주행 벤치마크에서 어떻게 나타나는가?
• RQ5 이러한 저데이터 환경에서 사전 훈련된 ViT가 무작위 초기화 또는 비사전 훈련된 ViT보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• RangeViT는 nuScenes 검증 세트에서 평균 교차율(mIoU) 74.77%를 기록하며, 이는 이전의 모든 2D 투영 기반 방법을 능가한다.
• SemanticKITTI 테스트 세트에서 RangeViT는 mIoU 70.6%를 기록하며 2D 투영 기반 방법 중 1위를 차지하고 있으며, Cylinder3D와 같은 볼륨 기반 모델과의 격차를 좁히고 있다.
• 절단 분석 결과, 동일한 미세조정 프로토콜 하에서 ImageNet-21k에서 사전 훈련된 ViT-S 백본을 사용할 경우 ResNet-50 백본 대비 14.3% 높은 mIoU를 기록한다.
• 정체성 백본(특징 추출 없음)을 사용한 절단 분석에서는 단지 53.73%의 mIoU를 기록하며, ViT 특징가 선형 투영보다 전이 학습에 더 적합함을 확인한다.
• 사전 훈련된 ViT, 컨볼루션 스템, 스킵 연결이 있는 디코더의 조합은 특히 보행자나 자전거와 같은 드문 클래스나 저밀도 클래스에서 뚜렷한 성능 향상을 이룬다.
• 정성적 결과에서는 RangeViT가 경계 아티팩트를 감소시키고 복잡한 구조의 분할 정확도를 향상시키지만, 도로와 보도 사이의 혼동은 여전히 일부 남아 있다.