[논문 리뷰] A Survey and Benchmark of Automatic Surface Reconstruction from Point Clouds

Raphael Sulzer, Renaud Marlet외 2명|arXiv (Cornell University)|2023. 01. 31.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 3차원 포인트 클라우드에서 전통적 및 학습 기반 표면 복원 방법에 대한 종합적인 서베이와 벤치마크를 제시하며, 표준화되고 현실적인 조건에서 성능을 평가한다. 연구 결과, 유사한 특성을 가진 분포 내 데이터에서는 학습 기반 모델이 전통적 방법을 능가하지만, 노이즈, 이방점, 비균일 샘플링과 같은 실제 수집 결함에 대해서는 전통적 방법이 더 뛰어난 내성성을 유지함을 확인했다.

ABSTRACT

We present a comprehensive survey and benchmark of both traditional and learning-based methods for surface reconstruction from point clouds. This task is particularly challenging for real-world acquisitions due to factors such as noise, outliers, non-uniform sampling, and missing data. Traditional approaches often simplify the problem by imposing handcrafted priors on either the input point clouds or the resulting surface, a process that can require tedious hyperparameter tuning. In contrast, deep learning models have the capability to directly learn the properties of input point clouds and desired surfaces from data. We study the influence of handcrafted and learned priors on the precision and robustness of surface reconstruction techniques. We evaluate various time-tested and contemporary methods in a standardized manner. When both trained and evaluated on point clouds with identical characteristics, the learning-based models consistently produce higher-quality surfaces compared to their traditional counterparts -- even in scenarios involving novel shape categories. However, traditional methods demonstrate greater resilience to the diverse anomalies commonly found in real-world 3D acquisitions. For the benefit of the research community, we make our code and datasets available, inviting further enhancements to learning-based surface reconstruction. This can be accessed at https://github.com/raphaelsulzer/dsr-benchmark .

연구 동기 및 목표

• 일致되고 현실적인 조건에서 전통적 및 학습 기반 표면 복원 방법을 체계적으로 평가하고 비교하는 것.
• 딥 러닝 기반 방법의 새로운 형태 카테고리와 새로운 수집 결함에 대한 일반화 능력을 조사하는 것.
• 노이즈, 이방점, 비균일 샘플링, 데이터 누락과 같은 실제 포인트 클라우드 이상 현상에 대한 방법의 내성성 평가.
• 향후 딥 표면 복원 분야의 연구를 지원하기 위해 공개된 코드와 데이터셋을 포함한 표준화된 벤치마크 제공.
• 특히 분포 외 결함에 대한 현재 학습 기반 접근법의 한계를 규명하고 향후 방법 개발을 안내하는 것.

제안 방법

• 저자들은 지정된 진짜 메쉬를 가진 다양한 공개된 형태 데이터셋을 사용하여 복원 품질을 평가한다.
• MVS 스캐닝 파이프라인을 시뮬레이션하여 비균일 샘플링, 노이즈, 이방점, 데이터 누락 등의 현실적인 수집 특성을 가진 합성 포인트 클라우드를 생성한다.
• 벤치마크는 합성 및 실제 포인트 클라우드를 포함하여, 알려진 진짜 표 superficies와 실제 적용 시나리오 모두에서 평가할 수 있도록 한다.
• 동일한 학습 및 테스트 조건에서 전통적 방법(예: SPSR, RESR)과 학습 기반 모델(예: SAP, DGNN, POCO, P2S, IGR)을 평가한다.
• 표준 메트릭(예: Chamfer Distance, Hausdorff Distance, F-Score)을 사용하여 기하학적 및 위상적 복원 품질을 측정한다.
• 실시간 또는 구현 관련 응용을 위한 런타임 및 추론 효율성도 평가한다.

\alphalph

실험 결과

연구 질문

• RQ1 실제 결함이 있는 포인트 클라우드에서 학습 기반 표면 복원 방법이 전통적 방법보다 기하학적 및 위상적 정확도 측면에서 어떻게 비교되는가?
• RQ2 학습 데이터에 포함되지 않은 새로운 형태 카테고리에 대해 학습 기반 모델이 얼마나 잘 일반화되는가?
• RQ3 알 수 없는 이방점 패턴이나 극단적인 비균일 샘플링과 같은 분포 외 수집 결함에 대해 학습 기반 방법의 내성성은 어느 정도인가?
• RQ4 전통적 방법은 노이즈 및 데이터 누락을 포함한 다양한 포인트 클라우드 특성에서 일관된 성능을 유지하는가?
• RQ5 현대 표면 복원 파이프라인에서 복원 품질, 내성성, 추론 속도 간의 상충 관계는 어떠한가?

주요 결과

• 유사한 특성을 가진 포인트 클라우드에서 학습 및 테스트를 수행할 경우, 학습 기반 모델이 전통적 방법보다 항상 더 높은 품질의 표면을 생성한다.
• 대규모이고 복잡한 데이터셋(예: 30,000개 형태)에서 훈련된 학습 기반 방법은 새로운 형태 카테고리로의 일반화가 가능하며, 이는 형태에 특화된 특징이 아닌 데이터에서 일반적인 사전 지식을 학습했음을 시사한다.
• SPSR 및 RESR과 같은 전통적 방법은 노이즈, 이방점, 데이터 누락과 같은 실제 수집 결함에 대해 대부분의 학습 기반 모델보다 뛰어난 내성성을 보인다.
• SAP 및 DGNN과 같은 방법은 속도와 내성성 사이의 균형을 잘 이루며, 평가된 방법 중에서 SAP가 가장 빠른 속도를 기록한다.
• 최적화 기반 학습 방법(예: IGR, POCO)은 도메인 이동에 대해 제한된 내성성을 보이며 대부분의 설정에서 전통적 기법을 능가하지 못한다.
• 벤치마크는 중요한 격차를 드러내며, 현재 학습 기반 모델이 예상치 못한 또는 복잡한 수집 결함에 대해 내성성이 떨어지므로, 더 현실적인 훈련 데이터가 필요하다는 점을 강조한다.

\alphalph