[논문 리뷰] OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception

Xiaofeng Wang, Zheng Zhu외 8명|arXiv (Cornell University)|2023. 03. 07.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 자율주행을 위한 주변 세분적 점유율 인식을 위한 첫 번째 대규모 벤치마크인 OpenOccupancy를 소개한다. nuScenes 데이터셋을 확장하여 보강 및 정제(AMP) 파이프라인을 통해 조밀하고 다중 모odal한 레이블을 제공한다. 카메라, LiDAR 및 다중 모달 기반 모델을 수립하였으며, 계단식 점유율 네트워크(CONet)를 제안하여 계산 비용을 감소시키면서도 성능을 약 30% 향상시켜 복잡한 도심 환경에서 고해상도 3D 점유율 예측을 가능하게 한다.

ABSTRACT

Semantic occupancy perception is essential for autonomous driving, as automated vehicles require a fine-grained perception of the 3D urban structures. However, existing relevant benchmarks lack diversity in urban scenes, and they only evaluate front-view predictions. Towards a comprehensive benchmarking of surrounding perception algorithms, we propose OpenOccupancy, which is the first surrounding semantic occupancy perception benchmark. In the OpenOccupancy benchmark, we extend the large-scale nuScenes dataset with dense semantic occupancy annotations. Previous annotations rely on LiDAR points superimposition, where some occupancy labels are missed due to sparse LiDAR channels. To mitigate the problem, we introduce the Augmenting And Purifying (AAP) pipeline to ~2x densify the annotations, where ~4000 human hours are involved in the labeling process. Besides, camera-based, LiDAR-based and multi-modal baselines are established for the OpenOccupancy benchmark. Furthermore, considering the complexity of surrounding occupancy perception lies in the computational burden of high-resolution 3D predictions, we propose the Cascade Occupancy Network (CONet) to refine the coarse prediction, which relatively enhances the performance by ~30% than the baseline. We hope the OpenOccupancy benchmark will boost the development of surrounding occupancy perception algorithms.

연구 동기 및 목표

• 자율주행을 위한 주변 세분적 점유율 인식에 대한 종합적인 벤치마크 부족 문제를 해결하기 위해.
• 기존 데이터셋이 규모가 작거나 전방 시야에 국한되거나 실내 환경에 집중되어 있는 한계를 극복하기 위해.
• 대규모 외부 주행 환경에서 조밀한 세분적 점유율 레이블을 효율적으로 생성할 수 있는 확장 가능한 파이프라인 개발을 위해.
• 새로운 벤치마크에서 카메라, LiDADR 및 융합된 모달리티에 대한 강력한 다중 모달 기반 모델 수립을 위해.
• 최소한의 지연 시간으로 고해상도 3D 점유율 예측을 위한 계산 비용 효율적인 아키텍처, CONet 설계를 위해.

제안 방법

• 사전 학습된 기반 모델에서 생성한 가짜 레이블을 활용하고 인간 검증을 통해 노이즈를 감소시켜 희박한 LiDAR 기반 점유율 레이블의 밀도를 높이는 보강 및 정제(AAP) 파이프라인을 제안한다.
• 850개의 시나리오와 20만 장의 이미지 프레임에 걸쳐 조밀한 세분적 점유율 레이블을 제공하는 nuScenes 데이터셋을 확장하여, 초기 LiDAR 중첩 대비 약 2배 높은 밀도의 레이블을 확보한다.
• ResNet 기반 아키텍처와 특징 융합 전략을 사용하여 카메라 기반, LiDAR 기반, 다중 모달 기반 기반 모델을 설계하였으며, 적응형 융합 전략이 연결 또는 덧셈보다 우수한 성능을 보였다.
• 저해상도 예측을 세분적 및 기하학적 특징 샘플링을 통해 정밀하게 개선하는 계층적(코arse-to-fine) 아키텍처인 계단식 점유율 네트워크(CONet)를 도입한다.
• CONet에서 해상도와 계산 비용을 제어하기 위해 스트라이드 기반 샘플링 전략을 구현하였으며, 병합된 세분적 및 기하학적 특징 사용의 효과를 확립하기 위해 분석 실험을 수행하였다.
• IoU 및 mIoU 등의 지표를 사용하여 다양한 입력 해상도와 융합 방법에 대해 OpenOccupancy 벤치마크에서 모델을 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 외부 주행 데이터셋에서 효율적으로 고품질의 조밀한 세분적 점유율 레이블을 생성할 수 있는 방법은 무엇인가?
• RQ2 카메라 전용, LiDAR 전용, 다중 모달 접근 방식의 상대적 강점과 한계는 무엇인가?
• RQ3 CONet와 같은 계층적 아키텍처가 고해상도 3D 점유율 예측에서 성능을 향상시키면서도 계산 비용을 줄일 수 있는 정도는 어느 정도인가?
• RQ4 다양한 특징 융합 전략(연결, 덧셈, 적응형)이 다중 모달 점유율 예측 성능에 미치는 영향은 무엇인가?
• RQ5 주변 점유율 인식에서 예측 해상도, GPU 메모리 소비량, 추론 효율성 간의 상충 관계는 어떻게 나타나는가?

주요 결과

• AAP 파이프라인은 초기 LiDAR 중첩 대비 약 2배 높은 레이블 밀도를 달성하였으며, 정제 과정에 약 4,000시간의 인간 노동이 투입되었다.
• 다중 모달 기반 모델은 카메라 기반 기반 모델 대비 47%의 상대적 성능 향상과 LiDAR 기반 기반 모델 대비 29%의 향상을 기록하여 mIoU에서 우수한 성능을 보였다.
• 제안된 CONet는 고해상도 기반 모델 대비 약 30% 성능 향상을 이룩하였고, GPU 메모리 사용량은 약 15GB 감소하였으며, GFLOPs는 약 70% 감소시켰다.
• CONet에서 기하학적 특징만을 사용할 경우 기반 모델 대비 mIoU가 28% 향상되었고, 세분적 및 기하학적 특징을 병합한 경우 상대적 33% 향상된 성능을 기록하였다.
• 카메라 기반 기반 모델에서 입력 해상도를 1600×900으로 증가시켰더니 mIoU가 20% 향상되었고, 다중 스위프트 LiDAR 입력은 단일 스위프트 입력 대비 mIoU를 43% 향상시켰다.
• 다중 모달 기반 모델에서 적응형 융합 전략은 연결 및 덧셈 전략 대비 각각 mIoU에서 6% 및 5% 높은 성능을 기록하였다.