[논문 리뷰] OccDepth: A Depth-Aware Method for 3D Semantic Scene Completion

Ruihang Miao, Weizhou Liu외 5명|arXiv (Cornell University)|2023. 02. 27.

Advanced Vision and Imaging인용 수 38

한 줄 요약

OccDepth는 스테레오 RGB를 이용한 3D 의미론적 장면 완성(SSC)을 위한 최초의 스테레오 기반 방법으로, Stereo-SFA를 사용해 깊이 인식 특징을 융합하고 깊이 증류(depth distillation)와 함께 Occupancy Aware Depth(OAD) 모듈을 통합하여 비전-전용 SSC 방법들 사이에서 최첨단 수준의 결과에 근접했다.

ABSTRACT

3D Semantic Scene Completion (SSC) can provide dense geometric and semantic scene representations, which can be applied in the field of autonomous driving and robotic systems. It is challenging to estimate the complete geometry and semantics of a scene solely from visual images, and accurate depth information is crucial for restoring 3D geometry. In this paper, we propose the first stereo SSC method named OccDepth, which fully exploits implicit depth information from stereo images (or RGBD images) to help the recovery of 3D geometric structures. The Stereo Soft Feature Assignment (Stereo-SFA) module is proposed to better fuse 3D depth-aware features by implicitly learning the correlation between stereo images. In particular, when the input are RGBD image, a virtual stereo images can be generated through original RGB image and depth map. Besides, the Occupancy Aware Depth (OAD) module is used to obtain geometry-aware 3D features by knowledge distillation using pre-trained depth models. In addition, a reformed TartanAir benchmark, named SemanticTartanAir, is provided in this paper for further testing our OccDepth method on SSC task. Compared with the state-of-the-art RGB-inferred SSC method, extensive experiments on SemanticKITTI show that our OccDepth method achieves superior performance with improving +4.82% mIoU, of which +2.49% mIoU comes from stereo images and +2.33% mIoU comes from our proposed depth-aware method. Our code and trained models are available at https://github.com/megvii-research/OccDepth.

연구 동기 및 목표

• 스테레오 이미지를 통한 암묵적 깊이를 활용하여 더 저렴하고 시각 정보만 사용하는 입력으로부터 3D 의미론적 장면 완성(SSC)을 개선하기 위한 동기를 제시한다.
• 깊이 인식 융합으로 2D 특징을 3D 점유 공간으로 올리는 스테레오 기반 SSC 파이프라인을 도입한다.
• 3D 특징에 명시적 깊이 선행 정보를 주입하기 위해 깊이 증류가 포함된 Occupancy Aware Depth 모듈을 개발한다.
• 실내 장면에서 스테레오 입력 SSC를 평가하기 위한 새로운 SemanticTartanAir 벤치마크를 제공한다.
• RGB 기반 베이스라인보다 개선 및 2.5D/3D 입력 SSC 방법과의 경쟁력을 실증적으로 입증한다.

제안 방법

• Stereo Soft Feature Assignment (Stereo-SFA)를 사용해 좌우 뷰 간 학습된 상관 관계를 이용하여 2D 스테레오 특징을 3D 보셀 공간으로 융합한다.
• Occupancy Aware Depth (OAD) 모듈은 깊이 분포를 예측하고, 이를 미분 가능 그리드 샘플링을 통해 보셀 공간 점유 사전으로 변환하며 3D 특징을 정제한다.
• 학습 중 스테레오 깊이 네트워크 (LEAStereo)를 사용해 깊이 예측을 감독하고, F_D를 조밀한 GT 유사 깊이 맵과 정렬시켜 깊이 증류를 수행한다.
• 두 가지 작업 손실 설계: 기하학(occupancy) 손실과 의미론적 손실을 분리하고, 훈련 안정화를 위한 모노 기반 정규화 항을 도입한다.
• 과적합을 완화하기 위한 요령: 2D 백본 사전 학습, 데이터 증강, 의미론 손실 가중치를 점진적으로 감소시키는 방법.
• SemanticKITTI, NYUv2, 및 SemanticTartanAir에서 평가하여 스테레오 기반 SSC의 효과를 입증한다.

실험 결과

연구 질문

• RQ1 스테레오(비전-전용) 입력이 RGB-전용 방법보다 SSC를 위한 조밀한 3D 기하 및 시맨틱을 더 효과적으로 복원할 수 있는가?
• RQ2 OAD 및 깊이 증류를 통한 명시적 깊이가 SSC에서 3D 점유 및 의미 예측을 얼마나 개선하는가?
• RQ3 간단한 융합 전략과 비교했을 때 3D 특징 상승에 대한 Stereo-SFA의 기여는 무엇인가?
• RQ4 실내와 외부 SSC 벤치마크에서 OccDepth의 성능은 어떠하며, 새롭게 도입된 SemanticTartanAir 기반 데이터셋에서의 성능은 어떠한가?

주요 결과

• OccDepth는 SemanticKITTI 및 SemanticTartanAir 벤치마크에서 비전-전용 SSC 방법들 중 우수한 성능을 달성한다.
• +4.82% mIoU RGB 기반 SSC 베이스라인 대비 개선, 스테레오 입력에서 +2.49% mIoU, 깊이 인식 구성요소에서 +2.33% mIoU.
• Stereo-SFA는 평균 fusion이나 연결(concatenation) 융합에 비해 눈에 띄는 이득을 제공하며, 특히 3D 장면 완성 IoU를 향상시킨다.
• OAD는 계산 오버헤드가 거의 없으면서 의미 있는 mIoU 이득을 제공하고, 깊이 증류가 깊이 가이던스를 더욱 개선한다.
• OccDepth는 스테레오 RGB만으로도 (학습 시에만 옵션으로 깊이를 사용) 2.5D/3D-input SSC 방법들과 경쟁력 있다.
• 정성적 결과는 실내 및 실외 장면에서 얇고 먼 물체의 복원 및 기하학적 경계가 더 선명함을 보여준다.