[논문 리뷰] Unpaired Point Cloud Completion on Real Scans using Adversarial Training

Xuelin Chen, Baoquan Chen외 1명|arXiv (Cornell University)|2019. 03. 29.

3D Shape Modeling and Analysis참고 문헌 38인용 수 69

한 줄 요약

이 논문은 현실 세계의 부분 스캔을 쌍으로 매칭된 부분-완료 데이터 없이도, 실제 부분의 잠재 공간과 깨끗한 완전한 형태의 잠재 공간 간 매핑을 학습하여 부분 스캔을 완성하는 포인트 기반 GAN 프레임워크를 제시합니다.

ABSTRACT

As 3D scanning solutions become increasingly popular, several deep learning setups have been developed geared towards that task of scan completion, i.e., plausibly filling in regions there were missed in the raw scans. These methods, however, largely rely on supervision in the form of paired training data, i.e., partial scans with corresponding desired completed scans. While these methods have been successfully demonstrated on synthetic data, the approaches cannot be directly used on real scans in absence of suitable paired training data. We develop a first approach that works directly on input point clouds, does not require paired training data, and hence can directly be applied to real scans for scan completion. We evaluate the approach qualitatively on several real-world datasets (ScanNet, Matterport, KITTI), quantitatively on 3D-EPN shape completion benchmark dataset, and demonstrate realistic completions under varying levels of incompleteness.

연구 동기 및 목표

• 현실 세계의 스캔 완성을 위한 쌍 지도 감독의 부족 문제를 해결한다.
• 원시 스캔에서 직접 작동하는 비쌍(point-based) 기반 완성 방법을 개발한다.
• 다른 데이터 분포 간의 완성을 규칙화하기 위해 잠재 공간 매니폴드를 활용한다.
• 여러 객체 카테고리에 걸친 실제 및 합성 데이터셋에 대한 강건성과 일반화를 입증한다.

제안 방법

• 깨끗하고 완전한 포인트 세트와 노이즈가 있는 부분 스캔에 대한 잠재 공간을 학습하기 위해 오토인코더를 훈련한다.
• 부분 공간 X_r의 잠재 코드를 완전 공간 X_c로 매핑하는 생성기 G를 학습한다.
• 잠재 공간에서 GAN을 형성하기 위해 판별기를 사용하고, 매핑된 부분들이 실제 완전 잠재 코드와 닮도록 한다.
• 입력과 완성 간의 부분 일관성을 보장하기 위해 Hausdorff 거리 기반 재구성 손실을 도입한다.
• 학습 안정화를 위해 최소 제곱 GAN 목적함수를 채택한다.
• 복셀 격자나 SDFs 대신 PointNet 유사 인코더/디코더를 사용하여 포인트 클라우드에서 직접 작동한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 학습이 실제 세계의 부분 스캔에서 실제 대응 ground-truth 없이도 고품질 완성을 가능하게 할 수 있는가?
• RQ2 잠재 공간 간 번역 학습이 실제 데이터와 합성 데이터 분포에 일반화되는가?
• RQ3 Hausdorff 거리 재구성 항을 포함하는 것이 완성에서 입력-일관성 유지에 어떤 영향을 미치는가?
• RQ4 현실 및 합성 데이터에서 비쌍 방법이 지도 학습 기준선(3D-EPN, PCN)과 어떻게 비교되는가?
• RQ5 제한된 쌍 데이터로도 이 접근법이 여러 객체 범주에 적응할 수 있는가?

주요 결과

• 본 방법은 쌍 데이터 없이도 실제 부분 스캔에서 직접 스캔 완성을 가능하게 하며 ScanNet, Matterport3D, KITTI에 걸쳐 일반화한다.
• 현실 세계 데이터에서 비쌍 접근법은 3D-EPN 및 PCN과 같은 감독형 베이스라인보다 더 그럴듯한 완성을 산출한다.
• 합성 데이터(3D-EPN 데이터셋)에서 비지도 방법이 3D-EPN보다 우수하고 PCN과 경쟁적이며, 감독적 적응을 포함하면 PCN 성능에 근접한다.
• 적소 실험에서 GAN 구성 요소와 Hausdorff 재구성 항이 최상의 결과를 얻는 데 중요함을 보여준다.