[논문 리뷰] CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization

Junsheng Zhou, Baorui Ma외 4명|arXiv (Cornell University)|2022. 10. 06.

3D Shape Modeling and Analysis인용 수 28

한 줄 요약

CAP-UDF는 일관성 인식 필드 손실로 표면 쪽으로 질의(query)를 이동시켜 원시 포인트 클라우드에서 직접 연속적인 부호 없는 거리 함수(UDF)를 학습하고, 그라디언트 필드에서 ground-truth 거리 없이도 직접 표면 추출을 가능하게 한다. 그것은 표면을 점진적으로 더 정제하고 합성 및 실제 스캔에서 최신 성능을 시연한다.

ABSTRACT

Surface reconstruction for point clouds is an important task in 3D computer vision. Most of the latest methods resolve this problem by learning signed distance functions from point clouds, which are limited to reconstructing closed surfaces. Some other methods tried to represent open surfaces using unsigned distance functions (UDF) which are learned from ground truth distances. However, the learned UDF is hard to provide smooth distance fields due to the discontinuous character of point clouds. In this paper, we propose CAP-UDF, a novel method to learn consistency-aware UDF from raw point clouds. We achieve this by learning to move queries onto the surface with a field consistency constraint, where we also enable to progressively estimate a more accurate surface. Specifically, we train a neural network to gradually infer the relationship between queries and the approximated surface by searching for the moving target of queries in a dynamic way. Meanwhile, we introduce a polygonization algorithm to extract surfaces using the gradients of the learned UDF. We conduct comprehensive experiments in surface reconstruction for point clouds, real scans or depth maps, and further explore our performance in unsupervised point normal estimation, which demonstrate non-trivial improvements of CAP-UDF over the state-of-the-art methods.

연구 동기 및 목표

• 원시 포인트 클라우드로부터의 표면 재구성을 촉진한다.
• 질의(query)를 표면으로 안내하는 일관성 인식 부호 없는 거리 함수(UDF)를 도입한다.
• 단계별로 표면을 정제하기 위한 점진적 표면 근사 전략을 제안한다.
• 학습된 UDF의 그라디언트 필드에서 직접 표면 추출 방법을 개발한다.
• 합성 형태, 실제 스캔 및 장면에서 최첨단 재구성 정확도를 시연한다.

제안 방법

• 3D 질의 q에 대해 부호 없는 거리 f(q)를 MLP 네트워크로 예측한다.
• 질의 q를 f(q)의 보폭으로 음의 정규화된 기울기 방향으로 한 걸음 이동시킨다.
• Chamfer 거리를 통해 진화하는 포인트 집합에서 이동된 질의 z와 가장 가까운 표면 점을 비교하는 일관성 인식 손실로 학습한다.
• 다음 단계에서 국부 기하학을 정제하기 위해 이동된 질의로 참조 포인트 집합을 점진적으로 업데이트한다.
• 적응형 기울기 기반의 마칭-큐브 유사 절차로 그라디언트 필드에서 직접 표면을 추출한다.
• 로컬 UDF 값을 사용해 학습된 거리 필드를 따라 초기 메시의 정점 위치를 조정하여 선택적으로 정제한다.

실험 결과

연구 질문

• RQ1 원시 포인트 클라우드에서 직접 학습된 UDF가 표면 근처에서 매끄러운 거리장을 실제 거리 없이 생성할 수 있는가?
• RQ2 일관성 인식 손실이 학습을 안정시키고 필드 왜곡을 방지하는가?
• RQ3 BPA 기반 후처리 없이 학습된 UDF의 그라디언트 필드에서 개방형이거나 토폴로지가 풍부한 구조의 표면을 직접 추출할 수 있는가?
• RQ4 단계별 표면 근사가 단일 단계 학습에 비해 디테일 포착과 수렴을 향상시키는가?
• RQ5 합성 데이터와 실측 스캔 데이터에서 CAP-UDF가 최첨단 부호 없는 거리 방법과 비교해 어떤 성능을 보이나?

주요 결과

• CAP-UDF는 ground-truth 거리나 대규모 학습 데이터 없이 원시 포인트 클라우드로부터 연속적인 부호 없는 거리장을 달성한다.
• 일관성 인식 필드 손실은 서로 충돌하는 최적화 방향을 완화하고 표면 근처의 더 정확하고 매끄러운 필드를 산출한다.
• 이동된 질의 사전 정보를 가진 점진적 단계는 반복에 걸쳐 국부적 디테일과 표면 충실도를 향상시킨다.
• 학습된 UDF에서 직접 그라디언트 기반으로 표면 추출은 임의의 토폴로지를 가진 고품질 표면을 산출하며 BPA를 피한다.
• 실험 결과는 ShapeNet 자동차(합성), MGD 실측 스캔, SRB 실측 스캔, OnSurf 장면 벤치마크에서 다수 지표에 걸쳐 최첨단 성능을 보여준다.
• 영향 분석 연구는 일관성 손실, 점진적 단계, 표면 추출 방법의 효과를 확인한다.