[논문 리뷰] ScanComplete: Large-Scale Scene Completion and Semantic Segmentation for 3D Scans

Angela Dai, Daniel Ritchie외 4명|arXiv (Cornell University)|2017. 12. 29.

3D Shape Modeling and Analysis참고 문헌 40인용 수 43

한 줄 요약

ScanComplete는 전체 컨volution형, 데이터 기반의 3D CNN 프레임워크를 제안하며, 군집에서의 추론 전략을 활용하여 대규모 비완전 3D 스캔을 보완하고 병렬 볼륨 단위 의미 분류를 수행한다. 이는 실제 및 합성 데이터에서 모두 최신 기술 수준의 성능을 달성하며, 1480×1230×64 볼륨 이하의 고해상도 및 전역 일관성을 갖춘 스캔을 처리한다.

ABSTRACT

We introduce ScanComplete, a novel data-driven approach for taking an incomplete 3D scan of a scene as input and predicting a complete 3D model along with per-voxel semantic labels. The key contribution of our method is its ability to handle large scenes with varying spatial extent, managing the cubic growth in data size as scene size increases. To this end, we devise a fully-convolutional generative 3D CNN model whose filter kernels are invariant to the overall scene size. The model can be trained on scene subvolumes but deployed on arbitrarily large scenes at test time. In addition, we propose a coarse-to-fine inference strategy in order to produce high-resolution output while also leveraging large input context sizes. In an extensive series of experiments, we carefully evaluate different model design choices, considering both deterministic and probabilistic models for completion and semantic inference. Our results show that we outperform other methods not only in the size of the environments handled and processing efficiency, but also with regard to completion quality and semantic segmentation performance by a significant margin.

연구 동기 및 목표

• 센서의 가림과 범위 제한으로 인한 실내 장면의 비완전 3D 재구성 문제를 해결한다.
• 체계적인 공간 범위를 가진 대규모 장면 처리를 가능하게 하여, 볼륨 기반 3D 표현의 세제곱 메모리 증가 문제를 극복한다.
• 완전한 장면 이해를 위해 고해상도 3D 기하학과 볼륨 단위 의미 레이블을 동시에 예측한다.
• 세분화된 튜닝 없이도 합성 학습 데이터에서 실세계 RGB-D 스캔으로 일반화할 수 있는 방법을 개발한다.
• 기하학과 의미를 함께 모델링하여 높은 보완 정확도와 의미 분류 성능를 동시에 달성한다.

제안 방법

• 장면 크기에 영향을 받지 않는 필터 커널을 갖춘 전체 컨volution형 3D CNN을 사용하여, 부분 볼륨에서의 학습과 임의로 큰 장면에서의 구현이 가능하다.
• 군집에서의 추론 전략을 구현: 큰 맥락을 갖춘 저해상도 예측이 계층적 개선을 통해 고해상도 출력을 이끈다.
• 공간 계층 간의 종속성을 모델링하기 위해 자동 회귀 볼륨 네트워크를 통합하여 전역 일관성을 향상시킨다.
• 학습 및 추론 해상도를 분리하여, 작은 부분 볼륨에서 학습된 모델이라도 고해상도 출력이 가능하도록 한다.
• 합성 데이터(SUNCG)에서 학습하고, 도메인 적응 없이 실제 스캔(ScanNet)으로 전이한다.
• 공유 표현을 활용하여 3D 보완과 의미 분류를 동시에 최적화함으로써 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 전체 컨볼루션형 3D CNN은 무한한 공간 범위를 가진 장면을 처리하면서도 고해상도 출력을 유지할 수 있는가?
• RQ2 단일 스케일 접근 방식과 비교해 병렬에서의 추론 전략은 3D 장면 보완 및 의미 분류 품질을 어떻게 향상시키는가?
• RQ3 합성 데이터에서 학습한 모델이 실세계 RGB-D 스캔에 대해 얼마나 일반화되는가?
• RQ4 기하학과 의미를 함께 예측하는 것이 각각 별도로 모델링하는 것보다 더 나은 성능을 내는가?
• RQ5 큰 공간 맥락은 3D 장면 보완에서 전역 일관성과 국소 세부 사항에 어떤 영향을 미치는가?

주요 결과

• ScanComplete는 합성 및 실제 ScanNet 데이터에서 모두 3D 장면 보완 분야에서 최신 기술 수준의 성능를 달성하며, Poisson Surface Reconstruction 및 3D-EPN 등의 기존 방법들을 능가한다.
• 특히 대규모 장면에서 기준 방법들인 SSCNet 및 3D-EPN에 비해 재구성 오차(ℓ₁ 손실)를 크게 감소시킨다.
• SUNCG 데이터셋에서의 의미 분류 정확도는 기하학과 레이블링을 함께 예측함으로써 크게 향상되었으며, mIoU 측정치에서 SSCNet 및 기타 기준 방법들을 뛰어넘었다.
• 모델은 합성 학습 데이터에서 실세계 RGB-D 스캔(ScanNet)으로 효과적으로 일반화되며, 세분화된 튜닝 없이도 타당하고 일관된 보완 결과를 생성한다.
• 군집에서의 추론 전략은 ≈5 cm³ 볼륨의 고해상도 출력을 유지하면서도 전역 일관성을 확보한다. 이는 정성적 및 정량적 결과로 입증되었다.
• 테스트 시의 추론은 효율적이며, 장면 크기와 관계없이 O(1)번의 순방향 전파를 요구한다. 이는 이전 방법들이 부분 볼륨에서 O(w×h×d)번의 전파가 필요로 하는 것과 대비된다.