[논문 리뷰] Neural-Singular-Hessian: Implicit Neural Representation of Unoriented Point Clouds by Enforcing Singular Hessian

Zixiong Wang, Yunxiao Zhang외 7명|arXiv (Cornell University)|2023. 09. 04.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 표면 근처에서 신경망 함수의 헤시안 행렬이 특이행렬이 되도록 강제하는 Neural-Singular-Hessian라는 새로운 방법을 제안한다. 이는 표면에서의 미분기하학적 성질을 활용하여 표면 근처의 점들의 기울기를 그 점이 표면상에 투영된 점의 법선과 일치시킴으로써, 유사한 기하학적 일致성을 확보하고, 그로 인해 고해상도의 세부 구조를 유지하면서 가상의 기하 구조를 억제하는 계층적 최적화를 가능하게 한다. 이는 정규 방향 정보가 없는 데이터에 대해 기존의 피팅 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Neural implicit representation is a promising approach for reconstructing surfaces from point clouds. Existing methods combine various regularization terms, such as the Eikonal and Laplacian energy terms, to enforce the learned neural function to possess the properties of a Signed Distance Function (SDF). However, inferring the actual topology and geometry of the underlying surface from poor-quality unoriented point clouds remains challenging. In accordance with Differential Geometry, the Hessian of the SDF is singular for points within the differential thin-shell space surrounding the surface. Our approach enforces the Hessian of the neural implicit function to have a zero determinant for points near the surface. This technique aligns the gradients for a near-surface point and its on-surface projection point, producing a rough but faithful shape within just a few iterations. By annealing the weight of the singular-Hessian term, our approach ultimately produces a high-fidelity reconstruction result. Extensive experimental results demonstrate that our approach effectively suppresses ghost geometry and recovers details from unoriented point clouds with better expressiveness than existing fitting-based methods.

연구 동기 및 목표

• 정규 방향 정보가 없는 점군에서 정확하고 세밀한 표면을 재구성하는 데 도전하는 것.
• 기하학적 사전 지식이 약하거나 존재하지 않을 경우, 암시적 신경망 표현에서 형태의 정확성 향상과 가상 기하 구조 억제를 향상시키는 것.
• 서명 거리 함수(SDF)의 내재적 미분기하학적 성질을 활용한 정규화 전략 개발.
• 정답 SDF나 정규 정보가 필요 없이 효과적이고 일반화 가능한 재구성 가능하게 하는 것.
• 점진적으로 특이 헤시안 정규화 항을 감소시켜 계층적 최적화를 구현하는 것.

제안 방법

• 표면 근처의 점들에 대해 신경 암시 함수의 헤시안 행렬의 행렬식이 0이 되도록 강제함. 이는 표면 주변의 얇은 케이지 공간 내에서 SDF의 헤시안이 특이행렬임을 미분기하학적 성질에 기반한 것이다.
• 이 정규화는 표면 근처의 점 기울기를 그 점의 표면상 투영된 점의 법선 벡터와 일치시키며, 기하학적 일致성을 증진시킨다.
• 특이 헤시안 항은 미분 가능한 손실 항으로 도입되며, 학습 중 점진적으로 감소(냉각)되어 계층적 최적화를 가능하게 한다.
• 이 방법은 SIREN 기반 신경망을 사용하여 암시 함수를 표현하고, 제안된 헤시안 정규화를 적용한 기울기 하강법으로 최적화한다.
• 이 방법은 피팅 기반 및 형태 공간 학습 설정 모두에 적용되어 다양한 점군 분포에 걸쳐 일반화 성능을 입증한다.
• 형태 연산자와 모어스 이론에 기반한 기하학적 제약 조건을 도입함으로써, 기존의 Eikonal 또는 라플라시안 에너지 항에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 신경 암시 함수에 특이 헤시안을 강제하면 정규 방향 정보가 없는 점군에서 표면 재구성 성능이 향상되는가?
• RQ2 기존의 Eikonal 또는 라플라시안 정규화보다 특이 헤시안 정규화가 가상 기하 구조 억제에 더 효과적인가?
• RQ3 정규 정보가 없을 경우에도 세밀한 기하 구조를 유지할 수 있는가?
• RQ4 특이 헤시안 항을 냉각시키는 전략을 통해 계층적 최적화가 얼마나 효과적인가?
• RQ5 정답 정보나 정규 정보 없이 다양한 형태와 점군 분포에 대해 일반화 가능한가?

주요 결과

• ThreedScans 데이터셋에서 제안된 방법은 카멘 디스턴스(Chamfer distance) 0.15를 기록하여 PCP(4.44)와 DiGS(0.92)를 크게 앞서며 뛰어난 재구성 정확도를 입증한다.
• 동일한 벤치마크에서 엘리거(Eagle) 형태에 대해 F-Score 9.90을 기록하여 PCP(1.41)와 DiGS(0.22)를 초월하며 더 뛰어난 형태 유지 능력을 보였다.
• 드래곤(Dragon) 형태에 대해 노멀 일致성(normal consistency) 점수 98.53을 기록하여 PCP(94.32)와 DiGS(97.41)를 초월하며, 더 나은 법선 정렬 성능을 입증했다.
• DFAUST에서의 형태 공간 학습 설정에서, 정규 정보나 지도 학습 없이도 신뢰할 수 있는 재구성을 생성했으며, IGR, SAL, DiGS보다 빌드된 시각적 품질에서 뛰어난 성능을 보였다.
• ThreedScans 데이터셋에서 평균 F-Score 80.81을 기록하여 NG(38.79)를 능가하고, 정규 정보가 있는 SIREN의 성능(81.40)에 근접했다.
• 제거 분석(ablation study)을 통해 특이 헤시안 정규화가 라플라시안 또는 헤시안 에너지보다 형태 아티팩트 억제와 위상 유지에 더 효과적임을 확인했다.