[논문 리뷰] Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion

Pingping Zhang, Wei Liu외 3명|arXiv (Cornell University)|2019. 08. 01.

Advanced Vision and Imaging참고 문헌 40인용 수 9

한 줄 요약

이 논문은 자기 연쇄적 컨텍스트 피라미드를 통해 다중 척도 3D 공간적 맥락을 모델링하고, 저수준 특징을 사용하여 세밀한 구조적 세부 정보를 복원하는 가벼운, 전체 해상도 3D 의미적 장면 완성 프레임워크인 캐스케이드드 컨텍스트 피라미드 네트워크(CCPRNet)를 제안한다. 이 방법은 메모리와 계산 비용을 크게 줄였음에도 불구하고, 합성(SUNCG) 및 실세계(NYU) 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic Scene Completion (SSC) aims to simultaneously predict the volumetric occupancy and semantic category of a 3D scene. It helps intelligent devices to understand and interact with the surrounding scenes. Due to the high-memory requirement, current methods only produce low-resolution completion predictions, and generally lose the object details. Furthermore, they also ignore the multi-scale spatial contexts, which play a vital role for the 3D inference. To address these issues, in this work we propose a novel deep learning framework, named Cascaded Context Pyramid Network (CCPNet), to jointly infer the occupancy and semantic labels of a volumetric 3D scene from a single depth image. The proposed CCPNet improves the labeling coherence with a cascaded context pyramid. Meanwhile, based on the low-level features, it progressively restores the fine-structures of objects with Guided Residual Refinement (GRR) modules. Our proposed framework has three outstanding advantages: (1) it explicitly models the 3D spatial context for performance improvement; (2) full-resolution 3D volumes are produced with structure-preserving details; (3) light-weight models with low-memory requirements are captured with a good extensibility. Extensive experiments demonstrate that in spite of taking a single-view depth map, our proposed framework can generate high-quality SSC results, and outperforms state-of-the-art approaches on both the synthetic SUNCG and real NYU datasets.

연구 동기 및 목표

• 기존의 3D 의미적 장면 완성(SSC) 방법들이 높은 메모리와 계산 비용으로 인해 저해상도 출력을 생성하고 세밀한 기하학적 세부 정보를 손실하는 데서 비롯되는 한계를 해결하기 위해.
• 자기 연쇄 구조를 통해 다중 척도 3D 공간적 맥락을 명시적으로 모델링하여 예측의 일관성과 정확도를 향상시키기 위해.
• 깊고 메모리 소모가 큰 3D CNN에 의존하지 않고도 세밀한 구조적 객체 세부 정보를 복원하기 위해 경량의 특징 가이드드 리지드 레퍼닝 메커니즘을 도입하기 위해.
• 낮은 메모리 사용량과 빠른 추론을 통해 실용적인 구현이 가능한 고품질의 전체 해상도 3D 완성 결과를 달성하기 위해.

제안 방법

• 자기 연쇄 구조를 통해 계층적으로 다중 척도 3D 공간적 맥락을 집계하는 캐스케이드드 컨텍스트 피라미드(CCPR) 모듈을 제안하여 공간적 일관성을 향상시키고 의미적 갭을 감소시킨다.
• 저수준 특징과 경량 잔차 연결을 사용하여 3D 예측을 점진적으로 개선하는 가이드드 리지드 레퍼닝(GRR) 모듈을 도입하여 계산 비용을 증가시키지 않으면서도 세부 정보 복원 성능을 향상시킨다.
• 분리된 컨볼루션 커널을 사용한 경량 3D 확장 컨볼루션 인코더를 활용하여 모델 파라미터와 FLOPs를 줄이면서도 특징 표현 능력을 유지한다.
• 스킵 연결을 갖춘 디컨볼루션 디코더를 사용하여 인코딩된 특징에서 전체 해상도 3D 볼륨을 재구성한다.
• 단일 뷰 디프스 이미지를 처리하고 3D 바이트 격자에서 동시에 점유도와 의미적 레이블을 예측하도록 네트워크를 설계한다.
• 파라미터와 FLOPs를 최소화하여 효율성을 극대화하고, 빠른 추론과 양호한 확장성을 확보하기 위해 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 자기 연쇄적 컨텍스트 피라미드가 다중 척도 3D 공간적 맥락을 효과적으로 모델링하여 3D 장면 완성의 의미적 일관성을 향상시키는가?
• RQ2 깊고 메모리 소모가 큰 3D CNN에 의존하지 않고도 전체 해상도 3D 출력에서 세밀한 구조적 객체 세부 정보를 복원할 수 있는가?
• RQ3 제안된 가이드드 리지드 레퍼닝(GRR) 모듈이 표준 잔차 블록에 비해 세부 정보 복원 성능을 얼마나 향상시키는가?
• RQ4 다중 척도 맥락 모델링과 국소 세부 정보 보정의 통합이 합성 및 실세계 벤치마크에서 뛰어난 성능을 내는가?
• RQ5 경량 3D 네트워크가 상당히 낮은 메모리와 계산 비용을 유지하면서도 최신 기술 수준의 정확도를 달성할 수 있는가?

주요 결과

• SUNCG 데이터셋에서 CCPNet은 SSC-IoU 41.3%를 기록하여 SSCNet(24.7%) 및 VVNet(32.9%)와 같은 최신 기술 수준의 방법들을 능가한다.
• 제안된 방법은 모델 파라미터를 89k로 줄이고 FLOPs를 11.8G로 줄여 SSCNet(930k 파라미터, 163.8G FLOPs)에 비해 계산 비용을 크게 낮춘다.
• 캐스케이드드 컨텍스트 피라미드를 PPM 또는 ASPP로 대체할 경우, 각각 SSC-IoU가 4.1%와 2.3% 감소하여 제안된 CCP 모듈의 우수성을 입증한다.
• GRR 모듈은 단순 잔차 블록(BRB)을 사용할 경우 대비 SSC-IoU를 8.4% 향상시키며, 전체 GRR 구성이 가장 높은 성능을 기록한다.
• 전체 해상도 추론은 반해상도 대비 5.1% 향상되고 1/4 해상도 대비 4.9% 향상되어 기하학적 세부 정보 유지의 이점을 입증한다.
• 절단 실험 결과, GRR 모듈의 가이드링과 특징 증폭이 정확한 세부 정보 복원에 필수적임을 확인하였으며, 이를 제거할 경우 성능 저하가 심각하게 발생한다.