[논문 리뷰] 3DMV: Joint 3D-Multi-View Prediction for 3D Semantic Scene Segmentation

Angela Dai, Matthias Nießner|arXiv (Cornell University)|2018. 03. 28.

Advanced Vision and Imaging참고 문헌 35인용 수 4

한 줄 요약

3DMV는 RGB 및 기하학적 특징을 융합하는 공동 3D-다중시점 딥러닝 프레임워크를 제안하여 실내 RGB-D 스캔에서 3D 세분화를 수행한다. 입력 이미지에서 2D 특징을 추출하고, 이를 미분 가능한 레이어를 통해 3D 볼록 격자로 역투영한 후, 종단 간 네트워크에서 3D 기하학적 특징과 융합함으로써, ScanNet 벤치마크에서 mIoU 75%를 달성하며 기존 볼륨 기반 방법 대비 +22.2% 향상된 성능을 기록한다.

ABSTRACT

We present 3DMV, a novel method for 3D semantic scene segmentation of RGB-D scans in indoor environments using a joint 3D-multi-view prediction network. In contrast to existing methods that either use geometry or RGB data as input for this task, we combine both data modalities in a joint, end-to-end network architecture. Rather than simply projecting color data into a volumetric grid and operating solely in 3D -- which would result in insufficient detail -- we first extract feature maps from associated RGB images. These features are then mapped into the volumetric feature grid of a 3D network using a differentiable backprojection layer. Since our target is 3D scanning scenarios with possibly many frames, we use a multi-view pooling approach in order to handle a varying number of RGB input views. This learned combination of RGB and geometric features with our joint 2D-3D architecture achieves significantly better results than existing baselines. For instance, our final result on the ScanNet 3D segmentation benchmark increases from 52.8\% to 75\% accuracy compared to existing volumetric architectures.

연구 동기 및 목표

• 실내 환경에서 RGB 및 기하학적 데이터를 효과적으로 융합하여 3D 세분화 성능을 향상시키는 것.
• 낮은 볼륨 해상도로 인해 기존 볼륨 기반 네트워크가 풍부한 2D 이미지 특징을 활용하지 못하는 한계를 해결하는 것.
• 양방향 모odal에서 상호보완적인 표현을 학습할 수 있는 종단 간 공동 3D-다중시점 아키텍처를 개발하는 것.
• 순차적 스캔 환경에서의 강인성을 확보하기 위해 변수 수의 입력 RGB 시야를 처리할 수 있는 다중시점 풀링 메커니즘을 도입하는 것.
• 3D 세분화 벤치마크에서 기존 최고 수준의 볼륨 기반 및 포인트 기반 방법을 초월하는 것.

제안 방법

• 2D 백본 네트워크를 사용하여 입력 RGB 이미지에서 고해상도 특징 맵을 추출한다.
• 이 2D 특징들은 컨volution 레이어를 통해 다운샘플링된 후, 미분 가능한 역투영 레이어를 사용하여 3D 볼륨 격자로 역투영된다.
• 3D 네트워크는 역투영된 2D 특징과 원본 3D 기하학적 특징(예: 부호 거리 필드)을 공유된 3D 컨볼루션 아키텍처에서 동시에 처리한다.
• 다중시점 풀링 전략을 통해 여러 RGB 시야의 특징을 통합함으로써, RGB-D 스캔에서의 변수 입력 시퀀스를 처리할 수 있도록 한다.
• 전체 네트워크는 종단 간 학습이 가능하여 2D 및 3D 특징 학습의 공동 최적화를 허용한다.
• 2D 및 3D 특징 융합은 중간 레이어(특히 2/3 레이어)에서 수행되며, 이는 최적의 성능을 내는 것으로 밝혀졌다.

실험 결과

연구 질문

• RQ1 2D-3D 특징 공동 학습이 오직 3D 기하학적 특징이나 RGB 데이터만을 사용하는 것과 비교해 3D 세분화 정확도를 향상시킬 수 있는가?
• RQ2 밀도 높은 3D 재구성 환경에서 다중시점 RGB 특징의 통합이 세분화 성능에 어떤 영향을 미치는가?
• RQ3 3D 세분화 네트워크에서 2D 및 3D 특징을 융합하는 데 가장 적합한 융합 전략(예: 조기, 후기, 중간)은 무엇인가?
• RQ4 2D 및 3D 특징은 얼마나 상호보완적인가? 서로 중복되는가 아니면 상호 강화적인가?
• RQ5 입력 RGB 시야의 수가 세분화 정확도에 어떤 영향을 미치며, 성능은 어느 정도의 입력 수를 넘어서 포화 상태에 도달하는가?

주요 결과

• 제안된 3DMV 방법은 ScanNet 3D 세분화 벤치마크에서 mIoU 75%를 달성하여 이전 최고의 볼륨 기반 방법(52.8%)보다 뚜렷한 향상을 보였다.
• 3DMV는 최고의 PointNet 기반 베이스라인 대비 mIoU 14.8%포인트 향상되어 공동 3D-다중시점 학습의 효과성을 입증했다.
• 2/3 융합 전략—즉, 3D 네트워크의 2/3 레이어에서 2D 및 3D 특징을 융합하는 방식—이 최고의 성능을 기록했으며, 조기 및 후기 융합 버전보다 뛰어났다.
• 더 많은 RGB 시야를 추가할수록 성능 향상이 이루어지지만, 추가 시야 수가 늘어날수록 성능 향상 폭은 점점 감소하여 일정 수 이상에서는 수익 감소 현상이 나타남을 시사했다.
• 공동 3D-다중시점 네트워크는 수직적이고 상호보완적인 특징을 학습한다: RGB 및 기하학적 특징은 상호 중복적이지 않으며, 상호 강화적인 관계를 형성한다.
• 이 방법은 2D 픽셀 수준 세분화 작업으로도 잘 일반화되며, 3D 레이블을 RGB 프레임으로 다시 투영했을 때 NYU2 데이터셋에서 71.2%의 정확도를 기록했다.