[논문 리뷰] OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments

Chubin Zhang, Juncheng Yan외 6명|arXiv (Cornell University)|2023. 12. 14.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

OccNeRF는 LiDAR를 사용하지 않고 다중 카메라 3D 점유 예측을 위한 자기지도 학습 방법을 제안한다. 신경 렌더링 필드를 사용해 원시 이미지에서 깊이 맵을 렌더링하고, 광학 일致성(photometric consistency)을 기하학적 지도로 활용한다. 이는 nuScenes 데이터셋에서 자기지도 학습 깊이 추정에서 최고 성능을 기록하고, 의미론적 점유 예측에서도 경쟁력 있는 결과를 내며, 유한하지 않은 장면을 다루기 위해 매개변수화된 좌표 체계와 개선된 프롬프트 전략을 활용한다.

ABSTRACT

Occupancy prediction reconstructs 3D structures of surrounding environments. It provides detailed information for autonomous driving planning and navigation. However, most existing methods heavily rely on the LiDAR point clouds to generate occupancy ground truth, which is not available in the vision-based system. In this paper, we propose an OccNeRF method for training occupancy networks without 3D supervision. Different from previous works which consider a bounded scene, we parameterize the reconstructed occupancy fields and reorganize the sampling strategy to align with the cameras' infinite perceptive range. The neural rendering is adopted to convert occupancy fields to multi-camera depth maps, supervised by multi-frame photometric consistency. Moreover, for semantic occupancy prediction, we design several strategies to polish the prompts and filter the outputs of a pretrained open-vocabulary 2D segmentation model. Extensive experiments for both self-supervised depth estimation and 3D occupancy prediction tasks on nuScenes and SemanticKITTI datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• LiDAR 포인트 클라우드에 의존하지 않고 비전 중심의 자율주행 시스템에서 자기지도 학습 기반 3D 점유 예측을 가능하게 하기 위해.
• 원시 RGB 이미지만을 사용해 자기지도 학습 기반 3D 점유 학습에서 무한한 장면 표현 문제를 해결하기 위해.
• 매개변수화된 점유 필드를 다중 카메라 깊이 맵으로 변환하는 기하학적 지도를 제공하기 위해 기하학적 지도를 제공하는 기하학적 지도를 제공하기 위해.
• 사전 학습된 개방형 어휘 분류 모델의 프롬프트 전략을 개선하고 이를 점유 헤드와 통합하여 의미론적 점유 예측 성능을 향상시키기 위해.
• 자기지도 설정 하에서 깊이 추정 및 의미론적 점유 예측에 대해 nuScenes 벤치마크에서 방법을 검증하기 위해.

제안 방법

• 무한한 공간을 유한한 부피로 매핑하는 수축된 좌표 체계를 사용해 3D 점유 필드를 매개변수화하고, 내부 및 외부 영역을 별도의 좌표 변환으로 분리한다.
• 매개변수화된 점유 필드에서 3D 점을 효율적으로 샘플링하고 신경 렌더링을 통해 다중 카메라 깊이 맵으로 렌더링하기 위한 특수한 샘플링 전략을 설계한다.
• 시간적 광학 일치성(photometric consistency)을 다중 프레임 시퀀스 간의 주요 기하학적 지도 신호로 활용하여 LiDAR 기반 지도를 대체한다.
• 사전 학습된 개방형 어휘 분류 모델(Grounding DINO)을 정교화된 프롬프트 전략과 통합하여 의미론적 점유 지도를 위한 2D 의미 레이블을 생성한다.
• 광학 일치성 손실과 교차 엔트로피 손실을 조합한 다중 작업 손실을 사용해 엔드 투 엔드 자기지도 학습을 가능하게 한다.
• 계산 비용이 높은 다중 시점 주의층을 피하기 위해 2D 특징을 직접 3D 공간으로 보간하는 경량 3D 특징 집계 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 다중 카메라 RGB 이미지만을 사용하고 LiDAR 지도 없이 자기지도 학습 기반 3D 점유 예측을 효과적으로 달성할 수 있는가?
• RQ2 신경 렌더링 필드 기반 프레임워크에서 자기지도 학습 기반 3D 점유 예측을 위해 유한하지 않은 3D 장면을 효과적으로 표현하고 최적화할 수 있는가?
• RQ3 시간적 광학 일치성만으로도 자기지도 설정에서 고품질의 깊이 추정을 위한 충분한 기하학적 지도를 제공할 수 있는가?
• RQ4 수동 애너테이션 없이 개방형 어휘 분류 모델을 효과적으로 조정하여 3D 점유 예측을 위한 신뢰할 수 있는 의미 레이블을 생성할 수 있는가?
• RQ5 3D 의미론적 점유 예측 맥락에서 개방형 어휘 모델의 성능을 최대화하기 위한 프롬프트 엔지니어링 전략은 무엇인가?

주요 결과

• OccNeRF는 nuScenes 데이터셋에서 자기지도 학습 기반 다중 카메라 깊이 추정에서 SOTA 성능을 달성했으며, 프론트 카메라에서 Abs Rel이 0.132로 이전 방법들을 능가한다.
• 측면 뷰 카메라에서 특히 뛰어난 성능 향상을 보였으며, F.Left에서 Abs Rel이 0.190, B.Left에서 0.204를 기록하여 도전적인 시점에서도 강건함을 입증했다.
• 의미론적 점유 예측에서는 정교화된 프롬프트 전략을 사용할 경우, 완전히 지도된 학습 방법과 경쟁 가능한 성능을 달성했다.
• 절단 실험 결과, 이 설정에서 기하학적 지도로 직접 이미지 재구성 손실보다 시간적 광학 일치 손실이 더 효과적임을 확인했다.
• 제안된 좌표 수축 및 샘플링 전략은 무한한 장면의 효과적 모델링을 가능하게 하여 일반화 성능을 크게 향상시키고 렌더링된 깊이 맵의 아티팩트를 감소시켰다.
• 정성적 비교 결과, 특히 가림 및 복잡한 도시 환경에서 기존 방법 대비 더 적은 아티팩트와 더 정확한 깊이 맵을 생성함을 확인했다.