[논문 리뷰] Surface Reconstruction from Point Clouds: A Survey and a Benchmark

Zhangjin Huang, Yuxin Wen외 3명|arXiv (Cornell University)|2022. 05. 05.

3D Shape Modeling and Analysis인용 수 23

한 줄 요약

포인트 클라우드로부터의 표면 재구성에 대한 조사 및 대규모 벤치마크로, 고전적 방법과 딥 러닝 방법을 비교하고, 강건성과 일반화에 대한 통찰을 제공합니다.

ABSTRACT

Reconstruction of a continuous surface of two-dimensional manifold from its raw, discrete point cloud observation is a long-standing problem. The problem is technically ill-posed, and becomes more difficult considering that various sensing imperfections would appear in the point clouds obtained by practical depth scanning. In literature, a rich set of methods has been proposed, and reviews of existing methods are also provided. However, existing reviews are short of thorough investigations on a common benchmark. The present paper aims to review and benchmark existing methods in the new era of deep learning surface reconstruction. To this end, we contribute a large-scale benchmarking dataset consisting of both synthetic and real-scanned data; the benchmark includes object- and scene-level surfaces and takes into account various sensing imperfections that are commonly encountered in practical depth scanning. We conduct thorough empirical studies by comparing existing methods on the constructed benchmark, and pay special attention on robustness of existing methods against various scanning imperfections; we also study how different methods generalize in terms of reconstructing complex surface shapes. Our studies help identify the best conditions under which different methods work, and suggest some empirical findings. For example, while deep learning methods are increasingly popular, our systematic studies suggest that, surprisingly, a few classical methods perform even better in terms of both robustness and generalization; our studies also suggest that the practical challenges of misalignment of point sets from multi-view scanning, missing of surface points, and point outliers remain unsolved by all the existing surface reconstruction methods. We expect that the benchmark and our studies would be valuable both for practitioners and as a guidance for new innovations in future research.

연구 동기 및 목표

• 사용하는 기하학적 선험에 따라 기존의 표면 재구성 방법을 분류한다(삼각측량, 매끄러움, 템플릿, 모델링, 학습 기반, 하이브리드).
• 객체 수준 및 장면 수준의 표면과 현실적인 센싱 왜곡을 포함한 합성 및 실제 스캔 데이터로 구성된 대규모 벤치마크 데이터셋을 도입한다.
• 벤치마크에서 기존 방법을 체계적으로 평가하여 강건성 및 일반화의 강점과 약점을 밝힌다.
• 현재 방법으로도 해결되지 않은 실용적 과제(정합 불일치, 데이터 누락, 이상치)를 강조한다.
• 실증적 발견에 근거한 실무자 가이드라인과 향후 연구 방향을 제시한다.

제안 방법

• 재구성을 정규화하는 데 사용되는 기하학적 선험에 따라 방법을 정리하고 검토한다.
• 객체 수준 및 장면 수준의 표면과 현실적인 센싱 왜곡을 포함한 합성 및 실제 스캔 데이터를 포함하는 대규모 벤치마크 데이터세트를 제시한다.
• 데이터 결함에 대한 강건성과 복잡한 표면 형태에 대한 일반화에 초점을 맞춘 방법의 실증적 비교를 수행한다.
• 딥 러닝 방식 포함한 모델링 및 학습 선험을 논의하고, 그것들이 고전적 방법과 어떻게 비교되는지 다룬다.
• 실험 재현을 위한 벤치마크 및 코드에 대한 공개 접근을 제공한다.

실험 결과

연구 질문

• RQ1 현존하는 표면 재구성 방법은 실용적인 센싱 왜곡 하에서 어떤 강건성과 일반화 능력을 보이는가?
• RQ2 고전적 방법과 딥 러닝 접근 방식은 강건성과 복잡한 기하학적 형태에 대한 일반화 능력 면에서 어떻게 비교되는가?
• RQ3 노이즈, 이상치, 정합 불일치 하에서 재구성 품질에 가장 큰 영향을 미치는 선험 및 표현 방식(예: 삼각측량, 매끄러움, 템플릿, 암시적/명시적 모델)은 무엇인가?
• RQ4 현재 방법들에서 다중 시점 정합 불일치, 누락 포인트, 이상치에 대한 해결되지 않은 과제는 무엇인가?
• RQ5 현실 세계의 스캐닝 조건 및 평가 지표를 보다 잘 반영하도록 벤치마크를 어떻게 설계해야 하는가?

주요 결과

• 일부 고전적 방법이 벤치마크에서 최근의 딥 러닝 접근법보다 더 강한 강건성과 일반화를 보인다.
• 표면 법선은 법선이 불완전하더라도 재구성 품질 향상에 중요한 역할을 한다.
• 평가 지표와 시각적 품질 간의 불일치가 있어 더 기초적인 벤치마킹이 필요함을 시사한다.
• 정합 불일치, 데이터 누락, 이상치는 벤치마크 전반의 모든 방법에 여전히 도전적이다.
• 딥 러닝 방법은 가능성을 보이나 매우 복잡한 형상으로 일반화하는 데 어려움을 겪는다.
• 벤치마크는 현실적인 센싱 왜곡 하에서 객체 수준 및 장면 수준의 표면을 공동으로 평가한다.