[논문 리뷰] Neural Unsigned Distance Fields for Implicit Function Learning

Julian Chibane, Aymen Mir외 1명|arXiv (Cornell University)|2020. 10. 26.

3D Shape Modeling and Analysis참고 문헌 80인용 수 31

한 줄 요약

신경 거리 필드(NDF)를 소개하는 신경망 표현으로 표면에 대한 부호 없는 거리 필드를 예측하여 열린 표면, 내부 구조, 매니폴드를 가능하게 하며; 희소 포인트 클라우드에서의 최첨단 3D 재구성 및 조밀한 표면 추출, 메시 및 렌더링 지원(모양 닫힘 필요 없음).

ABSTRACT

In this work we target a learnable output representation that allows continuous, high resolution outputs of arbitrary shape. Recent works represent 3D surfaces implicitly with a Neural Network, thereby breaking previous barriers in resolution, and ability to represent diverse topologies. However, neural implicit representations are limited to closed surfaces, which divide the space into inside and outside. Many real world objects such as walls of a scene scanned by a sensor, clothing, or a car with inner structures are not closed. This constitutes a significant barrier, in terms of data pre-processing (objects need to be artificially closed creating artifacts), and the ability to output open surfaces. In this work, we propose Neural Distance Fields (NDF), a neural network based model which predicts the unsigned distance field for arbitrary 3D shapes given sparse point clouds. NDF represent surfaces at high resolutions as prior implicit models, but do not require closed surface data, and significantly broaden the class of representable shapes in the output. NDF allow to extract the surface as very dense point clouds and as meshes. We also show that NDF allow for surface normal calculation and can be rendered using a slight modification of sphere tracing. We find NDF can be used for multi-target regression (multiple outputs for one input) with techniques that have been exclusively used for rendering in graphics. Experiments on ShapeNet show that NDF, while simple, is the state-of-the art, and allows to reconstruct shapes with inner structures, such as the chairs inside a bus. Notably, we show that NDF are not restricted to 3D shapes, and can approximate more general open surfaces such as curves, manifolds, and functions. Code is available for research at https://virtualhumans.mpi-inf.mpg.de/ndf/.

연구 동기 및 목표

• 임의의 형태에 대해 연속적이고 고해상도 출력이 가능한 학습 가능한 출력 표현을 제안한다.
• 열려 있는 표면 및 내부 구조를 다루기 위해 학습 중 모양을 닫아야 한다는 요구를 제거한다.
• 희소 포인트 클라우드로부터 조밀한 포인트 클라우드, 메시, 렌더링 가능한 이미지를 재구성하도록 한다.
• ShapeNet에서 최첨단 재구성을 보여주고 NDF를 열린 곡선, 매니폴드 및 함수로 확장한다.

제안 방법

• 입력 포인트 클라우드를 다중 스케일 3D CNN으로 인코딩하여 격자 특징을 생성한다.
• 표면에 대한 부호 없는 거리를 회귀하여 f(p) = Phi(Psi_x(p))로 디코딩한다. 여기서 Psi_x는 p에서 다중 스케일 특징을 추출하고 Phi는 특징을 비음수 거리로 매핑한다.
• 손실은 거리를 예산 delta로 제한하여 표면의 근접 영역에 집중하도록 학습한다.
• 역전파를 통해 표면 추출 및 법선에 대한 f의 해석적 기울기를 계산한다.
• Dense 포인트 클라우드를 추출하는 알고리즘(p - f(p)∇f(p)로의 투영)과 시판 방법으로 메시를 생성하는 알고리즘을 제공한다.
• 수정된 구(trace) 추적 절차로 이미지를 렌더링하고 법선을 추정한다.
• 주어진 입력에 대해 다중 출력을 모델링하기 위해 f(x, y) = 0으로 다중 타깃 회귀를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전통적인 SDF/차수 기반 방법과 달리 NDF가 열린 표면과 내부 구조를 가진 형태를 표현할 수 있는가?
• RQ2 표면을 닫지 않고 원시 스캔에서 직접 학습해도 고품질 재구성이 가능한가?
• RQ3 닫힌 3D 모델뿐만 아니라 복잡한 실제 세계의 장면과 열린 의복을 재구성할 수 있는가?
• RQ4 3D 형태를 넘어 곡선, 매니폴드 및 일반 함수를 표현하도록 NDF를 확장할 수 있는가?
• RQ5 렌더링과 음영 처리를 가능하게 하기 위해 표면 법선을 NDF 기울기로부터 도출할 수 있는가?

주요 결과

• NDF는 ShapeNet 자동차를 희소 포인트 클라우드로부터 최첨단 재구성 정확도를 달성하며, 여러 베이스라인을 능가한다.
• NDF는 내부 구조가 있는 형태(예: 버스 안의 의자)와 열린 표면을 재구성할 수 있으며, 이는 기존 IFL 방법으로는 표현할 수 없다.
• NDF는 열린 곡선과 매니폴드를 표현할 수 있으며 2D 함수와 나선형을 보간/근사할 수 있어 함수 회귀 실험에서 입증되었다.
• 원시 스캔에서 학습하고 닫힌 헐을 필요로 하지 않는 것이 SAL과 같은 닫힌 데이터 베이스보다 상당한 정확도 이점을 준다.
• 이 논문은 학습된 부호 없는 거리장에서 밀집 포인트 클라우드, 메시, 렌더링을 직접 얻기 위한 실용적 알고리즘을 제공한다.