[논문 리뷰] Panoptic 3D Scene Reconstruction From a Single RGB Image

Manuel Dahnert, Ji Hou외 2명|arXiv (Cornell University)|2021. 11. 03.

Advanced Vision and Imaging참고 문헌 39인용 수 8

한 줄 요약

이 논문은 단일 RGB 이미지에서 풍경의 통합적 3차원 재구성 기술을 제안하며, 기하학적 재구성, 3차원 세분화, 3차원 인스턴스 세분화를 하나의 통합 작업으로 통합한다. 이 방법은 깊이 유도된 전파를 통해 2차원 특징과 인스턴스 예측을 3차원으로 변환하며, 기하학, 의미론, 인스턴스 인식을 동시에 최적화하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Understanding 3D scenes from a single image is fundamental to a wide variety of tasks, such as for robotics, motion planning, or augmented reality. Existing works in 3D perception from a single RGB image tend to focus on geometric reconstruction only, or geometric reconstruction with semantic segmentation or instance segmentation. Inspired by 2D panoptic segmentation, we propose to unify the tasks of geometric reconstruction, 3D semantic segmentation, and 3D instance segmentation into the task of panoptic 3D scene reconstruction - from a single RGB image, predicting the complete geometric reconstruction of the scene in the camera frustum of the image, along with semantic and instance segmentations. We thus propose a new approach for holistic 3D scene understanding from a single RGB image which learns to lift and propagate 2D features from an input image to a 3D volumetric scene representation. We demonstrate that this holistic view of joint scene reconstruction, semantic, and instance segmentation is beneficial over treating the tasks independently, thus outperforming alternative approaches.

연구 동기 및 목표

• 단일 RGB 이미지에서 기하학적 재구성, 3차원 의미론적 세분화, 3차원 인스턴스 세분화를 하나의 작업으로 통합하여 종합적인 3차원 환경 이해를 달성한다.
• 기존 방법들이 재구성과 의미론을 별개의 작업으로 간주하여 상호 최적화가 어려운 점을 해결한다.
• 고해상도 2차원 예측을 활용하여 3차원 객체 및 환경 이해를 유도하고 개선하는 방법을 개발한다.
• 기하학, 의미 레이블링, 인스턴스 식별을 종합적으로 평가하는 새로운 평가 체계를 제안한다.
• 기하학, 의미론, 인스턴스 예측을 동시에 최적화하는 것이 별도로 최적화하는 방법보다 성능 향상에 기여함을 입증한다.

제안 방법

• 단일 RGB 이미지에서 깊이, 2차원 의미론적 세분화, 2차원 인스턴스 세분화를 예측하기 위해 2차원 컨볼루션 기반 백본을 사용한다.
• 예측된 깊이를 활용하여 2차원 특징을 카메라 프루스트로 역투영함으로써 3차원 볼륨 표현으로 특징을 이전한다.
• 인스턴스 전파를 적용하여 2차원 인스턴스 예측을 3차원으로 이동시키며, 이를 3차원 객체 정밀화 및 클러스터링의 시드로 활용한다.
• 정밀도 향상을 위해 근사에서 정밀으로의 계층적 예측 전략을 적용한다.
• 3차원 클러스터링 기반 인스턴스 헤드를 사용하여 상하좌우 2cm 이내의 표면 포인트를 그룹화하여 3차원 인스턴스 클러스터를 형성하며, 3차원 의미 확률 기반으로 의미 레이블과 신뢰도 점수를 할당한다.
• 학습 중에 재구성 손실, 의미론적 세분화 손실, 인스턴스 식별 손실을 동시에 최적화하여 종합 작업의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지에서 3차원 환경 재구성, 의미론적 세분화, 인스턴스 세분화를 통합한 프레임워크가 별개의 접근 방식보다 우월한 성능을 낼 수 있는가?
• RQ2 직접 3차원 예측보다 2차원에서 3차원으로의 인스턴스 전파가 3차원 객체 식별과 기하학 재구성에 얼마나 효과적인가?
• RQ3 근사에서 정밀으로의 계층적 예측 전략이 3차원 환경 재구성 및 인스턴스 세분화 정확도에 어떤 영향을 미치는가?
• RQ4 오염 및 노이즈가 존재하는 상황에서 고해상도 2차원 신호의 통합이 3차원 패노프릭 성능에 어떤 영향을 미치는가?
• RQ5 기하학, 의미론, 인스턴스 예측을 동시에 최적화하는 것이 별도 학습 대비 종합적 환경 이해 능력 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 'all' 카테고리에서 패노프릭 재구성 품질(PRQ) 44.58을 달성하여 기준 모델인 Mesh R-CNN(35.76, 'things'용)과 SSCNet(15.88, 'all'용)을 크게 앞서는 성능을 보였다.
• 정답 깊이를 사용할 경우, 'stuff' 카테고리에선 PRQ 73.43, 'things' 카테고리에선 38.17을 기록하여 구조적 및 객체 수준의 의미론적 이해 능력이 뛰어나다는 것을 입증했다.
• 제거 실험 결과, 인스턴스 전파를 제거한 경우(기존 방법 w/o IP) 성능 저하가 심각하게 발생하여, 정확한 3차원 인스턴스 식별에 있어 핵심적인 역할을 한다는 점을 확인했다.
• 근사에서 정밀으로의 계층적 예측 전략은 조기에 더 정확한 환경 구조 탐지가 가능하게 하여 성능 향상에 기여했다.
• 재구성과 의미론을 별개로 다루는 기존 방법보다 성능이 뛰어나, 종합적 3차원 환경 이해를 위한 동시 최적화의 유용성을 입증했다.
• 정성적 결과 분석에서, 특히 가림이나 복잡한 영역에서 Mesh R-CNN 대비 개선된 객체 기하학과 인스턴스 분리 능력을 보였다.