[논문 리뷰] PanoOcc: Unified Occupancy Representation for Camera-based 3D Panoptic Segmentation

Yuqi Wang, Yuntao Chen외 3명|arXiv (Cornell University)|2023. 06. 16.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

PanoOcc는 카메라 기반 3D 페노틱 세그멘테이션을 위한 통합된 오브제이시언 표현을 제안하며, 거친 단계에서 세밀한 단계로의 학습 체계를 통해 다중 프레임, 다중 뷰 이미지 특징을 하나의 효율적인 3D 오브제이션 예측으로 통합합니다. 이 방법은 nuScenes에서 71.7 mIoU와 0.324 NDS의 최신 기준 성능을 달성하면서도, 오직 5%의 볼렉스만 유지하는 오브제이션 스파라시파이 모듈을 도입하여 메모리 사용량을 줄였습니다.

ABSTRACT

Comprehensive modeling of the surrounding 3D world is key to the success of autonomous driving. However, existing perception tasks like object detection, road structure segmentation, depth & elevation estimation, and open-set object localization each only focus on a small facet of the holistic 3D scene understanding task. This divide-and-conquer strategy simplifies the algorithm development procedure at the cost of losing an end-to-end unified solution to the problem. In this work, we address this limitation by studying camera-based 3D panoptic segmentation, aiming to achieve a unified occupancy representation for camera-only 3D scene understanding. To achieve this, we introduce a novel method called PanoOcc, which utilizes voxel queries to aggregate spatiotemporal information from multi-frame and multi-view images in a coarse-to-fine scheme, integrating feature learning and scene representation into a unified occupancy representation. We have conducted extensive ablation studies to verify the effectiveness and efficiency of the proposed method. Our approach achieves new state-of-the-art results for camera-based semantic segmentation and panoptic segmentation on the nuScenes dataset. Furthermore, our method can be easily extended to dense occupancy prediction and has shown promising performance on the Occ3D benchmark. The code will be released at https://github.com/Robertwyq/PanoOcc.

연구 동기 및 목표

• 현재 3D 인식 작업(예: 검출, 세그멘테이션)의 분산된 성격을 해결하기 위해 단일 3D 오브제이션 표현으로 통합하는 것.
• LiDAR에 의존하지 않고 단일 카메라 또는 다중 뷰 카메라 입력으로부터 종합적인 3D 장면 이해를 가능하게 하는 것.
• 3D 오브제이션 학습에서의 메모리 비효율성을 해결하기 위해 거친 단계에서 세밀한 단계로의 볼렉스 쿼리 기반 메커니즘과 스파라시피케이션을 도입하는 것.
• 통합된 오브제이션 예측 프레임워크 내에서 객체 검출과 의미 세그멘테이션을 동시에 최적화하는 것.

제안 방법

• PanoOcc는 거친 단계에서 세밀한 단계로의 방식으로 다중 프레임, 다중 뷰 이미지에서 시간적·공간적 특징을 볼렉스 쿼리를 통해 집계하여 효율적인 3D 특징 학습을 가능하게 합니다.
• 모델은 트랜스포머 기반 아키텍처를 사용하여 뷰 간 및 시간 간 특징에 주목하며, 점진적으로 오브제이션 표현을 정교화합니다.
• 오브제이션 스파라시파이 모듈을 도입하여 업샘플링 과정에서 비활성 볼렉스를 제거함으로써 메모리 소비를 최대 95%까지 줄였습니다(오직 5%의 볼렉스만 유지).
• 다중 작업 손실(포칼 손실, Lovász-Softmax, 테이그 특화 손실)을 사용하여 검출, 의미 세그멘테이션, 오브제이션 예측을 동시에 최적화합니다.
• 공간 효율성을 유지하면서도 기하학적 세부 정보를 보존하기 위해 업샘플링 경로에서 희소 디컨볼루션을 활용합니다.
• 볼렉스 표현에 대한 희소 LiDAR 포인트 레이블을 지도로 사용하여 엔드 투 엔드로 학습합니다.

Figure 1: Comparison of different tasks for 3D scene understanding. (a) LiDAR panoptic segmentation: Given sparse LiDAR points as input, the model outputs panoptic prediction on sparse LiDAR points. (b) Camera Detection and Segmentation: Given multi-view images, separate models are used to detect ob

실험 결과

연구 질문

• RQ1 다중 뷰 카메라 입력으로부터 객체 검출과 의미 세그멘테이션을 효과적으로 통합할 수 있는 통합된 3D 오브제이션 표현이 가능한가?
• RQ2 성능 저하 없이 3D 오브제이션 예측에서 메모리 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 시간 모델링은 오프젝트가 가림을 입는 경우(예: 오토바이, 트레일러 등) 검출 및 세그멘테이션 성능에 얼마나 기여하는가?
• RQ4 기존의 3D 볼렉스 격자나 트라이플레인 표현에 비해 거친 단계에서 세밀한 단계로의 볼렉스 쿼리 기반 메커니즘이 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ5 제안된 스파라시피케이션 전략은 3D 오브제이션 학습에서 메모리 프로파일을 극적으로 줄이면서도 높은 성능을 유지할 수 있는가?

주요 결과

• PanoOcc는 nuScenes 데이터셋에서 기존 방법(예: TPVFormer-Base)을 능가하는 새로운 최신 기준 성능을 달성하여 mIoU 71.7%와 NDS 0.324를 기록했습니다.
• TPVFormer-Base의 33.5G 대비 인퍼런스 시 24G, 6.0G로 메모리 소비를 줄였으며, 인퍼런스 지연 시간도 20% 빠른 203ms(비교: 268ms)를 기록했습니다.
• 오브제이션 스파라시파이 모듈은 활성 볼렉스 수를 원래의 5%로 줄여 메모리 효율성을 크게 향상시켰으며, 성능 저하 없이도 성능을 유지했습니다.
• 시간 모델링은 오토바이의 mIoU를 11.7점, 트레일러의 mIoU를 8.2점 향상시켜 가림을 입은 객체에 대한 강력한 성능 향상을 입증했습니다.
• 제거 실험 결과, Lovász-Softmax 손실이 핵심임을 확인하였으며, 이 손실을 제거할 경우 mIoU는 65.6에서 59.6로 감소했습니다.
• 최적의 손실 가중치 조합은 λ₁=10.0, λ₂=10.0, λ₃=5.0이며, 이 조합에서 mIoU 66.1%와 NDS 0.324의 최고 성능을 기록했습니다.

Figure 2: The overall framework of PanoOcc. We employ an image backbone network to extract multi-scale features for multi-view images at multi-frames. Then we apply voxel queries to learn the voxel features via View Encoder . The Temporal Encoder aligns the previous voxel features into the current f