[논문 리뷰] SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans

Angela Dai, Christian Diller외 1명|arXiv (Cornell University)|2019. 11. 29.

3D Shape Modeling and Analysis참고 문헌 38인용 수 11

한 줄 요약

이 논문은 실세계 스캔의 점점 더 불완전해지는 버전들로부터 학습함으로써, 합성 지도 데이터 없이도 고해상도(2cm) 3D 장면 복원이 가능한 자기지도 희소 생성 신경망인 SG-NN을 제안한다. 이 방법은 단일 훈련 스캔보다 더 완전한 기하학적 구조를 예측할 수 있도록 일반화함으로써, 완전 지도 학습 기반 최신 기술들을 능가한다.

ABSTRACT

We present a novel approach that converts partial and noisy RGB-D scans into high-quality 3D scene reconstructions by inferring unobserved scene geometry. Our approach is fully self-supervised and can hence be trained solely on real-world, incomplete scans. To achieve self-supervision, we remove frames from a given (incomplete) 3D scan in order to make it even more incomplete; self-supervision is then formulated by correlating the two levels of partialness of the same scan while masking out regions that have never been observed. Through generalization across a large training set, we can then predict 3D scene completion without ever seeing any 3D scan of entirely complete geometry. Combined with a new 3D sparse generative neural network architecture, our method is able to predict highly-detailed surfaces in a coarse-to-fine hierarchical fashion, generating 3D scenes at 2cm resolution, more than twice the resolution of existing state-of-the-art methods as well as outperforming them by a significant margin in reconstruction quality.

연구 동기 및 목표

• 오염 및 센서 한계로 인한 RGB-D 스캔으로부터의 불완전한 3D 재구성 문제를 해결하기 위해.
• 장면 복원 모델 훈련에 합성적이고 완전한 3D 데이터셋에 의존하는 것을 제거하기 위해.
• 실세계 스캔 간 일반화가 가능한 자기지도 학습 프레임워크를 개발하여, 단일 입력보다 더 완전한 기하학적 구조를 예측하기 위해.
• 새로운 희소 생성 신경망 아키텍처를 사용하여 고해상도(2cm) 3D 장면 생성을 가능하게 하기 위해.
• 다양한 수준의 입력 불완전성 하에서 일반화 능력과 강인성을 향상시키기 위해.

제안 방법

• 동일한 스캔으로부터 두 수준의 부분적 불완전성(덜 불완전한 입력과 더 불완전한 타겟)을 고려하는 자기지도 손실을 사용하며, 관측되지 않은 영역는 마스킹 처리한다.
• 저수준에서 고수준으로 점진적으로 해상도를 높이는 계층적, 군집에서 세분화하는 훈련 전략을 적용한다.
• 종단 간 완전 컨volution 방식으로 희소 절단된 부호화 거리 함수(TSDF) 표현을 예측하기 위한 새로운 희소 생성 신경망 아키텍처를 도입한다.
• Matterport3D의 실세계 RGB-D 스캔 데이터에서 틀림없이 프레임을 제거하여 점차 불완전해지는 상황을 시뮬레이션한다.
• 손실 함수는 입력과 타겟 부분 스캔 간 예측된 델타의 일관성을 강제로 유지하며, 관측되지 않은 영역를 마스킹하여 관측되지 않은 기하학적 구조에 기반한 학습을 방지한다.
• 입력과 출력 모두에 TSDF 표현을 사용하여, 점군이나 점유 격자보다 표면 기하학과 이웃 구조를 더 잘 기술한다.

실험 결과

연구 질문

• RQ1 합성 지도 데이터 없이도 실세계의 불완전한 RGB-D 스캔에서 자기지도 방식으로 3D 장면 복원을 학습할 수 있는가?
• RQ2 이러한 방법이 단일 훈련 스캔보다 더 완전한 기하학적 구조를 일반화하여 예측할 수 있는가?
• RQ3 진행적 해상도 훈련을 적용한 희소 생성 네트워크가 기존 방법보다 더 높은 재구성 품질과 해상도를 달성하는가?
• RQ4 훈련 중 입력 스캔의 불완전성 수준이 다양할 경우에도 이 방법이 얼마나 강인한가?
• RQ5 손실 함수에서 관측되지 않은 영역를 마스킹하는 것이 무작위 자르기나 직접 지도 학습 대비 차폐 영역에서의 복원 성능 향상에 기여하는가?

주요 결과

• 제안된 자기지도 방법은 3D 장면 재구성에서 2cm 해상도를 달성하였으며, 이는 이전 최신 기술 대비 두 배 이상 높은 해상도이다.
• 합성 지도 데이터 없이 불완전한 실세계 스캔만으로 훈련되었음에도 불구하고, 훈련 중에 볼 수 있었던 단일 타겟 스캔보다 더 완전한 기하학적 구조를 예측한다. 특히 차폐 영역에서 두드러진 성능을 보인다.
• 대규모 합성 데이터셋에 접근할 수 있는 지도 학습 기반 최신 기술들조차도 이 방법이 재구성 품질에서 뛰어나다.
• 모델는 타겟 스캔 불완전성 수준이 다양할 경우에도 강인하게 유지되며, 훈련에 30%의 프레임만 사용된 경우에도 강력한 성능을 유지한다.
• 손실 함수에서 관측되지 않은 영역를 마스킹하는 것이, 무작위 자르기 기반 모델이 실패하는 영역에서 복원 성능을 크게 향상시킨다.
• 입력과 출력 모두에 TSDF 표현을 사용함으로써, 점군이나 점유 격자 표현보다 더 나은 성능을 달성한다. 이는 기하학적 기술 능력 향상 덕분이다.