[논문 리뷰] Symphonize 3D Semantic Scene Completion with Contextual Instance Queries

Haoyi Jiang, Tianheng Cheng외 5명|arXiv (Cornell University)|2023. 06. 27.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 2D에서 3D로의 재구성과 시점 모델링을 향상시키기 위해 맥락적 인스턴스 쿼리를 활용하는 새로운 3D 세분화 장면 완성(SSC) 프레임워크인 Symphonies를 제안한다. 순차적 인스턴스 전파 주의 및 깊이 보정 볼륨 프로포절 레이어를 도입함으로써 Symphonies는 인스턴스 세분과 글로벌 맥락을 효과적으로 통합하여, SemanticKITTI에서 15.04의 최고 성능 mIoU와 SSCBench-KITTI-360에서 18.58의 최고 성능 mIoU를 달성한다.

ABSTRACT

`3D Semantic Scene Completion (SSC) has emerged as a nascent and pivotal undertaking in autonomous driving, aiming to predict voxel occupancy within volumetric scenes. However, prevailing methodologies primarily focus on voxel-wise feature aggregation, while neglecting instance semantics and scene context. In this paper, we present a novel paradigm termed Symphonies (Scene-from-Insts), that delves into the integration of instance queries to orchestrate 2D-to-3D reconstruction and 3D scene modeling. Leveraging our proposed Serial Instance-Propagated Attentions, Symphonies dynamically encodes instance-centric semantics, facilitating intricate interactions between image-based and volumetric domains. Simultaneously, Symphonies enables holistic scene comprehension by capturing context through the efficient fusion of instance queries, alleviating geometric ambiguity such as occlusion and perspective errors through contextual scene reasoning. Experimental results demonstrate that Symphonies achieves state-of-the-art performance on challenging benchmarks SemanticKITTI and SSCBench-KITTI-360, yielding remarkable mIoU scores of 15.04 and 18.58, respectively. These results showcase the paradigm's promising advancements. The code is available at https://github.com/hustvl/Symphonies.

연구 동기 및 목표

• 볼륨 단위 모델링의 한계를 해결하기 위해, 특히 가림과 시각적 왜곡으로 인한 기하학적 모호성을 줄이기 위한 고수준의 인스턴스 세분을 고려하지 않는 3D 세분화 장면 완성(SSC)의 문제점을 해결한다.
• 이미지 특징과 3D 볼륨 표현 간 격차를 해소하기 위해, 인스턴스 중심의 세분을 동적 중개자로 활용한다.
• 다양한 인스턴스 쿼리의 융합을 통해 통합된 시점 이해를 향상시키고, 기하학적 모호성을 완화하는 맥락 기반 추론을 가능하게 한다.
• 이미지, 인스턴스, 3D 시점 표현 간의 효율적이고 상호작용 가능한 특징 학습을 촉진하는 새로운 아키텍처를 개발한다.
• 어려운 SSC 벤치마크에서 최고 성능을 달성하면서도 주의 맵 분석을 통해 해석 가능성을 제공한다.

제안 방법

• 이미지 특징에서 유도된 희박하고 학습 가능한 인스턴스 쿼리를 사용하여 3D 시점 모델링을 이끄는 새로운 3D SSC 패러다임인 Symphonies를 도입한다.
• 다중 스테이지에서 이미지 특징, 인스턴스 쿼리, 3D 볼륨 특징 간의 동적이고 교차 주의 상호작용을 가능하게 하는 순차적 인스턴스 전파 주의를 제안한다.
• 초기 2D에서 3D 기하학을 향상시키기 위해 이미지 특징을 암묵적 시점 표면에 투영함으로써 초기 기하학적 정확도를 향상시키는 깊이 보정 볼륨 프로포절 레이어를 구현한다.
• 다양한 인스턴스 쿼리를 융합하여 글로벌 시점 맥락을 풍부하게 하고, 가림과 시각적 왜곡에 대한 강건한 추론을 가능하게 한다.
• 다중 모달 주의를 통해 반복적으로 볼륨 수준의 세분 예측을 향상시키는 트랜스포머 기반 디코더를 사용한다.
• 전체 해상도로 특징을 업샘플링하고 각 볼륨에 대해 클래스 로짓을 예측하는 세분화 헤드를 사용하며, 훈련을 위해 교차 엔트로피 손실을 적용한다.

실험 결과

연구 질문

• RQ1 가림과 시각적 왜곡으로 인한 기하학적 모호성을 줄이기 위해 인스턴스 중심의 세분이 3D 장면 완성에 기여할 수 있는가?
• RQ2 희박한 인스턴스 쿼리가 2D 이미지 특징과 3D 볼륨 표현 간의 다리를 놓는 데 얼마나 효과적인가?
• RQ3 여러 인스턴스 쿼리를 융합함으로써 글로벌 시점 맥락이 얼마나 향상되고 전체 시점 이해가 향상되는가?
• RQ4 쿼리 기반 주의 메커니즘이 3D SSC 작업에서 전통적인 볼륨 단위 특징 융합보다 우월한가?
• RQ5 제안된 깊이 보정 볼륨 프로포절 레이어가 표준 역시각 맵핑과 비교해 초기 기하학 추정을 얼마나 향상시키는가?

주요 결과

• Symphonies는 SemanticKITTI 검증 세트에서 최고 성능 mIoU 15.04를 달성하여 이전의 비전 기반 방법들을 크게 앞서며 성능을 뛰어넘었다.
• 더 어려운 SSCBench-KITTI-360 벤치마크에서 Symphonies는 mIoU 18.58을 달성하여 강력한 일반화 능력과 강인성을 입증했다.
• 제거 실험 결과, 순차적 인스턴스 전파 주의와 깊이 보정 볼륨 프로포절 레이어가 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 주의 맵 시각화 결과, 인스턴스 쿼리가 이미지와 3D 시점 양쪽 모두에서 의미적으로 관련된 영역에만 집중하는 것으로 나타나, 모델의 해석 가능성과 인스턴스 중심 추론의 타당성이 검증되었다.
• MonoScene와 같은 기준 방법에 비해 Symphonies는 더 선명하고 정확한 예측을 생성했으며, 라디얼 모양의 모호한 출력을 애초에 피했다.
• 식생(25.72 mIoU)과 울타리(3.90 mIoU)와 같은 드문 및 복잡한 카테고리에서도 뛰어난 성능을 기록하여 향상된 의미적 일반화 능력을 보여주었다.