[논문 리뷰] Neural-Pull: Learning Signed Distance Functions from Point Clouds by Learning to Pull Space onto Surfaces

Baorui Ma, Zhizhong Han외 2명|arXiv (Cornell University)|2020. 11. 26.

3D Shape Modeling and Analysis참고 문헌 63인용 수 47

한 줄 요약

Neural-Pull 은 포인트 클라우드에서 부호화된 거리 값과 기울기를 예측하는 신경망을 학습시키고, differentiable pulling 연산을 사용해 쿼리 포인트를 표면으로 이동시켜 표면 재구성 및 단일 이미지 재구성을 위한 고품질 SDF를 산출합니다.

ABSTRACT

Reconstructing continuous surfaces from 3D point clouds is a fundamental operation in 3D geometry processing. Several recent state-of-the-art methods address this problem using neural networks to learn signed distance functions (SDFs). In this paper, we introduce extit{Neural-Pull}, a new approach that is simple and leads to high quality SDFs. Specifically, we train a neural network to pull query 3D locations to their closest points on the surface using the predicted signed distance values and the gradient at the query locations, both of which are computed by the network itself. The pulling operation moves each query location with a stride given by the distance predicted by the network. Based on the sign of the distance, this may move the query location along or against the direction of the gradient of the SDF. This is a differentiable operation that allows us to update the signed distance value and the gradient simultaneously during training. Our outperforming results under widely used benchmarks demonstrate that we can learn SDFs more accurately and flexibly for surface reconstruction and single image reconstruction than the state-of-the-art methods.

연구 동기 및 목표

• 원시 3D 포イント 클라우드에서 ground-truth 부호 거리 함수(SDF) 감독 없이 직접 SDF를 학습하는 도전을 다룬다.
• 포인트 클라우드에서 직접 SDF 학습을 가능하게 하여 unsigned-distance 기반 접근의 한계를 극복한다.
• 예측된 거리와 기울기를 사용하여 쿼리 포인트를 표면과 정렬시키는 미분가능한 space-pulling 메커니즘을 제안한다.
• 표면에 대한 표준 벤치에서 재구성 정확도를 향상시키고 단일 이미지 재구성으로 확장한다.

제안 방법

• 포인트 클라우드를 조건으로 주어진 3D 쿼리 위치에서 부호된 거리 값과 기울기를 예측하도록 신경망을 학습시킨다.
• 예측된 거리와 기울기를 사용하여 각 쿼리 위치를 nearest surface point로 이동시키는 미분가능한 pulling 연산을 정의하고, 거리에 비례하는 스텝으로 이동한다.
• q_i 를 t_i' = q_i - f(c, q_i) * grad f(c, q_i) / ||grad f(c, q_i)|| 로 당기고, 방향을 바꿔 표면의 grad를 따라 움직이게 부호를 처리한다.
• 등방성 가우시안 분포를 통해 표면 포인트 주변에 쿼리 위치를 샘플하고, 지역 포인트 밀도에 연동된 적응 분산을 사용한다.
• 당겨진 쿼리 위치와 가장 가까운 표면 포인트 간의 제곱 손실로 최적화하여 부호 거리 필드로의 수렴을 촉진한다.
• 구면 SDF를 근사하도록 기하학적 네트워크 초기화(GNI)로 네트워크 매개변수를 초기화하고 2500 에폭 동안 Adam으로 학습한다.

실험 결과

연구 질문

• RQ1 원시 3D 포인트 클라우드에서 ground-truth SDF 감독 없이 직접 부호 거리 함수(SDF)를 학습하는가?
• RQ2 예측된 거리와 기울기를 활용하는 미분가능한 space-pulling 연산이 unsigned-distance 또는 gradient-regularized 방법보다 더 정확한 표면 재구성으로 이어지는가?
• RQ3 표면 근처에서 쿼리 위치를 샘플링하는 것이 학습 효율 및 최종 SDF 정확도에 어떤 영향을 미치는가?
• RQ4 노이즈가 있는 포인트 클라우드나 포인트 밀도 변화에 대해 Neural-Pull 은 SDF 학습에 얼마나 robust한가?
• RQ5 이미지를 조건 입력으로 처리하여 단일 이미지 재구성으로 확장할 수 있는가?

주요 결과

데이터셋	DSDF	ATLAS	PSR	Points2Surf	IGR	당사
ABC	8.41	4.69	2.49	1.80	0.51	0.48
FAMOUS	10.08	4.69	1.67	1.41	1.65	0.22
Mean	9.25	4.69	2.08	1.61	1.08	0.35

• Neural-Pull 은 ABC, FAMOUS, ShapeNet 유래 벤치마크에서 여러 최첨단 방법들에 비해 우수한 표면 재구성 정확도를 달성하며(보고된 표의 평균 L2-CD 개선 수치로 제시).
• 이 방법은 ground-truth 부호 거리 없이 포인트 클라우드로부터 직접 SDF를 학습하며 unsigned-distance 기반 접근보다 성능이 우수하다.
• 예측된 SDF 값과 그 기울기를 모두 사용하는 미분가능한 pulling 연산은 효과적인 최적화와 유효한 SDF로의 수렴으로 이어진다.
• 표면 근처에서 샘플링된 쿼리 위치와 기하학적 네트워크 초기화(GNI)는 학습을 크게 개선하며, 공간 샘플링만으로는 성능 저하 또는 GNI 제거가 성능을 저하시킨다.
• Neural-Pull 은 단일 이미지 재구성과 실제 이미지 입력에 대한 일반화가 뛰어나 고충실도 표면 재구성을 제공한다.