[논문 리뷰] Segment Any Point Cloud Sequences by Distilling Vision Foundation Models

Youquan Liu, Lingdong Kong외 6명|arXiv (Cornell University)|2023. 06. 15.

3D Shape Modeling and Analysis인용 수 29

한 줄 요약

Seal은 비전 기초 모델을 활용하여 자동차 포인트 클라우드에서 자가지도(self-supervised) 학습되고 의미적으로 인지된 3D 표현을 학습하게 하여, 다양한 데이터셋에 걸쳐 확장 가능하고 일관되며 일반화된 세그멘테이션을 가능하게 한다.

ABSTRACT

Recent advancements in vision foundation models (VFMs) have opened up new possibilities for versatile and efficient visual perception. In this work, we introduce Seal, a novel framework that harnesses VFMs for segmenting diverse automotive point cloud sequences. Seal exhibits three appealing properties: i) Scalability: VFMs are directly distilled into point clouds, obviating the need for annotations in either 2D or 3D during pretraining. ii) Consistency: Spatial and temporal relationships are enforced at both the camera-to-LiDAR and point-to-segment regularization stages, facilitating cross-modal representation learning. iii) Generalizability: Seal enables knowledge transfer in an off-the-shelf manner to downstream tasks involving diverse point clouds, including those from real/synthetic, low/high-resolution, large/small-scale, and clean/corrupted datasets. Extensive experiments conducted on eleven different point cloud datasets showcase the effectiveness and superiority of Seal. Notably, Seal achieves a remarkable 45.0% mIoU on nuScenes after linear probing, surpassing random initialization by 36.9% mIoU and outperforming prior arts by 6.1% mIoU. Moreover, Seal demonstrates significant performance gains over existing methods across 20 different few-shot fine-tuning tasks on all eleven tested point cloud datasets.

연구 동기 및 목표

• VFMs를 사용하여 원시 포인트 클라우드에서 직접 사전 학습함으로써 주석 요구를 제거합니다.
• 카메라-라이더 간 및 포인트-세그먼트 관계 전반에 걸쳐 공간적 및 시간적 일관성을 강제합니다.
• 2D VFMs의 의미 정보를 활용하여 3D 표현 학습을 안내합니다.
• 실제/합성, 저해상도/고해상도 및 손상된 데이터에 대한 강력한 데이터셋 간 일반화를 달성합니다.
• 다운스트림 3D 세그멘테이션 작업으로 즉시 적용 가능한 전이 메커니즘을 제공합니다.

제안 방법

• 비전 기초 모델을 사용하여 카메라 뷰에서 의미적 슈퍼픽셀을 생성합니다.
• 크로스 모달 대조 손실(L^vfm)을 통해 LiDAR 포인트 특징을 이미지 슈퍼픽셀 특징과 정렬하여 2D–3D 지식을 증류합니다.
• 훈련 가능한 헤드(Q와 K)로 공유 임베딩 공간에 3D 포인트 특징과 2D 이미지 특징을 투영하고 정규화합니다.
• 인접한 타임스탬프 간 시간적 슈퍼포인트 정규화 손실(L^tmp)을 통해 의미 일관성을 강제합니다.
• 해당하는 세그먼트 평균으로 포인트 특징을 당겨 가도록 포인트-세그먼트 정규화(L^p2s)를 적용합니다.
• 최종 목적 함수로 L^vfm, L^tmp, L^p2s를 결합합니다.
• 시간 축적 및 비지상(non-ground) 세그먼트 클러스터링을 사용하여 불완전한 카메라-라이더 동기화를 다루는 견고한 기하학적 전략을 통합합니다.

실험 결과

연구 질문

• RQ1 비전 기초 모델이 3D 포인트 클라우드 세그멘테이션에 대해 3D 주석 없이 의미 있게 감독을 제공할 수 있는가?
• RQ2 크로스-모달(2D–3D) 증류가 다양한 데이터셋에서 자동차 LiDAR 데이터의 표현 학습을 개선하는가?
• RQ3 포인트-슈퍼포인트의 시간적 일관성이 다양한 센서 및 조건에 대해 강건성과 일반화를 향상시키는가?
• RQ4 학습된 표현이 변하는 해상도와 노이즈를 가진 다운스트림 작업 및 데이터셋으로 전이 가능한가?
• RQ5 다른 비전 기초 모델이 크로스-모달 증류 및 최종 세그멘테이션 성능에 어떻게 영향을 미치는가?

주요 결과

• Seal은 nuScenes에서 45.0% mIoU의 강력한 선형 탐색 성능을 달성하여 무작위 초기화 대비 36.9%, 이전 방법 대비 6.1% mIoU 향상을 보입니다.
• Seal은 11개 데이터셋에서 20건 이상의 소수샷 파인튜닝 작업에서 지속적으로 이전 방법을 능가합니다.
• nuScenes-C의 강건성 테스트 전반에서 Seal은 다중 손상에서도 우수한 회복력과 전반적인 더 나은 mIoU를 보여줍니다.
• 다양한 VFMs는 서로 다른 이점을 제공하며; SEEM과 SAM은 일반적으로 SLIC 기반 기준선보다 더 큰 개선을 이끌고, Seal은 SLidR을 지속적으로 능가합니다.
• 부분 주석이 포함된 반지도 학습 변형도 강한 성능을 유지하며 때로는 일부 완전 지도 방법을 능가합니다.