[논문 리뷰] UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering

Mingjie Pan, Li Liu외 7명|arXiv (Cornell University)|2023. 06. 15.

Advanced Vision and Imaging인용 수 5

한 줄 요약

UniOcc는 3D 점유 예측을 위한 통합 프레임워크를 제안하며, 2D 이미지에서 기하학적 및 의미적 감독을 볼륨 렌더링을 통해 통합함으로써 고비용 3D 애너테이션에 대한 의존도를 낮춘다. 레이 샘플링을 통해 3D 박막 특징에서 깊이 및 의미적 로짓을 렌더링함으로써, 단일 모델로 nuScenes 벤치마크에서 51.27% mIoU를 달성하며 CVPR 2023 챌린지에서 3위를 기록했다.

ABSTRACT

In this technical report, we present our solution, named UniOCC, for the Vision-Centric 3D occupancy prediction track in the nuScenes Open Dataset Challenge at CVPR 2023. Existing methods for occupancy prediction primarily focus on optimizing projected features on 3D volume space using 3D occupancy labels. However, the generation process of these labels is complex and expensive (relying on 3D semantic annotations), and limited by voxel resolution, they cannot provide fine-grained spatial semantics. To address this limitation, we propose a novel Unifying Occupancy (UniOcc) prediction method, explicitly imposing spatial geometry constraint and complementing fine-grained semantic supervision through volume ray rendering. Our method significantly enhances model performance and demonstrates promising potential in reducing human annotation costs. Given the laborious nature of annotating 3D occupancy, we further introduce a Depth-aware Teacher Student (DTS) framework to enhance prediction accuracy using unlabeled data. Our solution achieves 51.27\% mIoU on the official leaderboard with single model, placing 3rd in this challenge.

연구 동기 및 목표

• 3D 점유 예측에서 고비용 3D 의미 애너테이션에 대한 의존도를 줄이기 위해 저비용 2D 세그먼테이션 레이블을 활용한다.
• 볼륨 렌더링을 통한 기하학적 음영 관계 제약과 의미 일관성 통합을 통해 모델 성능을 향상시킨다.
• 깊이 인식형 테이처-스터디 프레임워크를 통해 레이블이 없는 데이터를 활용한 자기지도 학습을 가능하게 한다.
• 테스트 시 증강 기법과 향상된 특징 표현을 통해 모델 일반화 능력과 강인성을 향상시킨다.
• 아키텍처 재설계 없이도 시각 중심 3D 점유 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 밀도(σ)와 의미적 로짓(s)에 대해 별도의 MLP를 사용하여 3D 박막 예측을 NeRF 스타일의 표현으로 변환한다.
• 2D 이미지 픽셀에서 파생된 레이를 따라 볼륨 렌더링을 수행하여 알파 컴posit링을 이용해 렌더링된 깊이 D와 의미적 로짓 S를 생성한다.
• 기하학적 일관성과 음영 관계를 강제하기 위해 스케일 인variant 로그arithmic(SILog) 손실을 렌더링된 깊이에 적용한다.
• LiDAR 투영을 통해 확보한 희소한 2D 깊이 및 의미 레이블을 렌더링된 픽셀의 감독 타겟으로 사용하며, 훈련 중에는 레이블이 있는 픽셀에만 집중한다.
• 교수 모델의 깊이 예측을 향상시켜 레이블이 없는 데이터에서 자기지도 학습을 안정화시키는 깊이 인식형 테이처-스터디(DTS) 프레임워크를 도입한다.
• 이미지 및 버드의 아이 뷰 수준에서 수평 및 수직 반전을 포함한 테스트 시 증강(TTA)을 적용하여 추론 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 볼륨 렌더링을 통한 2D 감독이 고비용 3D 점유 애너테이션을 대체하면서 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 렌더링된 깊이를 통한 기하학적 제약 통합이 3D 점유 예측 성능에 어떤 영향을 미치는가?
• RQ3 DTS 프레임워크를 활용한 자기지도 학습이 레이블이 없는 데이터를 효과적으로 활용해 성능을 향상시킬 수 있는가?
• RQ4 SAM과 같은 고급 2D 애너테이션 도구가 3D 장면 이해에서 2D 의미 레이블링 비용을 얼마나 줄일 수 있는가?
• RQ5 더 높은 해상도의 박막 및 강력한 백본과 같은 아키텍처 개선 사항이 점유 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• UniOcc는 단일 모델로 nuScenes 테스트 세트에서 51.27% mIoU를 달성하며, CVPR 2023 3D 점유 예측 챌린지에서 3위를 기록했다.
• 3D 레이블 없이 볼륨 렌더링 감독만으로 훈련된 모델가 3D 레이블 감독으로 훈련된 모델보다 성능이 뛰어나, 2D 기반 학습의 유효성을 입증한다.
• BEVStereo 베이스라인에서 렌더링 감독만으로도 20.2 mIoU를 기록했으며, 이는 3D 레이블 감독만으로는 19.6 mIoU에 그친다.
• 모든 구성 요소(가시성 마스크, 강력한 백본, 높은 해상도, TTA, DTS)를 포함한 전체 모델은 검증 세트에서 52.1 mIoU를 달성했다.
• DTS 프레임워크는 교수 모델의 깊이 예측을 향상시켜 레이블이 없는 데이터에서의 일반화 능력을 향상시키며 안정적인 자기지도 학습을 가능하게 한다.
• ConvNeXt-Base를 사용하고 박막 해상도를 0.32m(250×250×20)로 상향조정하면 성능 향상이著명해지며, richer 특징 표현의 이점을 입증한다.