[논문 리뷰] Shape As Points: A Differentiable Poisson Solver

Songyou Peng, Chiyu Max Jiang외 4명|arXiv (Cornell University)|2021. 06. 07.

3D Shape Modeling and Analysis참고 문헌 74인용 수 5

한 줄 요약

이 논문은 기하학적 구조를 점의 집합으로 표현하는 새로운 미분 가능한 3D 기하 표현인 Shape-As-Points(SAP)을 소개한다. 이 방법은 기울기 방향을 가진 점군(point cloud)을 미분 가능한 포아송 표면 재구성(DPSR) 레이어를 통해 물리적으로 타당하고, 토폴로지에 민감하지 않은 메쉬로 변환한다. 이는 학습 가능한 지표 필드를 통해 이루어지며, 점군으로의 기울기 역전파를 가능하게 하여 신경 은닉 모델 대비 10배 빠른 추론 속도를 달성하면서도, 명시적 표현보다 더 높은 품질의 표면을 생성하고 자가 교차가 없는 메쉬를 제공한다.

ABSTRACT

In recent years, neural implicit representations gained popularity in 3D reconstruction due to their expressiveness and flexibility. However, the implicit nature of neural implicit representations results in slow inference time and requires careful initialization. In this paper, we revisit the classic yet ubiquitous point cloud representation and introduce a differentiable point-to-mesh layer using a differentiable formulation of Poisson Surface Reconstruction (PSR) that allows for a GPU-accelerated fast solution of the indicator function given an oriented point cloud. The differentiable PSR layer allows us to efficiently and differentiably bridge the explicit 3D point representation with the 3D mesh via the implicit indicator field, enabling end-to-end optimization of surface reconstruction metrics such as Chamfer distance. This duality between points and meshes hence allows us to represent shapes as oriented point clouds, which are explicit, lightweight and expressive. Compared to neural implicit representations, our Shape-As-Points (SAP) model is more interpretable, lightweight, and accelerates inference time by one order of magnitude. Compared to other explicit representations such as points, patches, and meshes, SAP produces topology-agnostic, watertight manifold surfaces. We demonstrate the effectiveness of SAP on the task of surface reconstruction from unoriented point clouds and learning-based reconstruction.

연구 동기 및 목표

• 3D 재구성에서 신경 은닉 표현의 느린 추론 속도와 낮은 해석 가능성 문제를 해결하기 위해.
• 명시적 점군과 암묵적 지표 필드 사이의 종단 간 미분 가능한 최적화를 가능하게 하여 메쉬 생성을 위한 기반을 마련하기 위해.
• 비정규적인 점군으로부터 물리적으로 타당하고, 토폴로지에 민감하지 않은 메쉬를 생성하는 경량이며 효율적이고 강력한 기하 표현을 개발하기 위해.
• 노이즈와 외곽값이 있는 상황에서도 기존 방법들을 능가하는 재구성 품질과 추론 속도를 확보하기 위해.

제안 방법

• 기울기 방향을 가진 점군으로부터 스펙트럼 방법을 사용해 암묵적 지표 필드를 계산하는, 미분 가능한 포아송 표면 재구성(DPSR) 레이어를 제안한다.
• 빠른 GPU 가속화된 해법기를 사용하여 128³ 그리드 기준 약 12ms 내에 지표 필드를 계산함으로써 실시간 추론을 가능하게 한다.
• 기하학적 형태를 기하학적으로 저장하는 기반으로 기울기 방향을 가진 점군을 사용하는 새로운 기하 표현인 Shape-As-Points(SAP)을 도입한다.
• 표면 재구성 손실(예: Chamfer 거리)을 사용해 점군 위치를 최적화하기 위해 포아송 해법기의 역전파를 가능하게 한다.
• 학습된 지표 필드에서 물리적으로 타당하고, 메쉬가 연결된 메쉬를 추출하기 위해 미분 가능한 Marching Cubes 변형을 사용한다.
• 최종 메쉬나 중간 지표 그리드에 대한 감독을 통해 종단 간 학습을 지원하며, 점군과 기하 구조를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 포아송 해법기가 기울기 방향을 가진 점군으로부터 고속이고 미분 가능한 메쉬 생성을 가능하게 할 수 있는가?
• RQ2 제안된 Shape-As-Points 표현이 신경 은닉 표현과 명시적 표현보다 더 높은 재구성 품질과 더 빠른 추론 속도를 달성할 수 있는가?
• RQ3 SAP는 기울기 방향이 없거나 노이즈가 있는 점군으로부터 토폴로지에 민감하지 않고, 물리적으로 타당하며 자가 교차가 없는 메쉬를 생성할 수 있는가?
• RQ4 노이즈와 외곽값이 있는 조건에서 SAP는 최신의 학습 기반 3D 재구성 방법들과 비교해 성능과 효율성 면에서 어떻게 성과를 내는가?

주요 결과

• SAP는 신경 은닉 모델 대비 10배 빠른 추론 속도를 달성하며, 128³ 지표 그리드의 경우 12ms의 계산 시간을 기록했고, 유사한 은닉 네트워크의 경우 330ms가 소요된다.
• ShapeNet 데이터셋에서 SAP는 Points2Surf [16]를 능가하여 Chamfer-L1 점수 0.048(비교 기준 0.078)을 기록했고, 추론 속도는 99.9% 빠르게(0.064초 대비 70초) 구현되었다.
• 모든 테스트 카테고리, 특히 '소총(rifle)'과 '램프(lamp)'와 같은 도전적인 카테고리에서도 SAP는 50%의 외곽값과 0.025의 노이즈 조건에서도 물리적으로 타당하고 자가 교차가 없는 메쉬를 생성하였다.
• 최적화 기반 설정에서 SAP는 평균 F-Score 0.936과 노말 일致성 0.903을 달성하여 SPSR, 3D-R2N2, AtlasNet, ConvONet를 모두 능가했다.
• 초기화에 대해 강건하며, 복잡한 네트워크 미세조정 없이도 템플릿 기반 또는 노이즈가 있는 관측 기반의 기하 재구성을 쉽게 지원한다.
• 단지 30K개의 학습 반복만으로도 300K개 반복을 수행한 최고의 Points2Surf 모델에 근접한 성능를 달성하여 매우 높은 샘플 효율성을 입증했다.