[논문 리뷰] Spline Positional Encoding for Learning 3D Implicit Signed Distance Fields

Peng‐Shuai Wang, Yang Liu외 2명|arXiv (Cornell University)|2021. 06. 03.

3D Shape Modeling and Analysis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 3D 좌표를 학습 가능한 B-스플라인 함수를 사용해 고차원 공간으로 매핑하는 학습 가능한 위치 인코딩인 스플라인 위치 인코딩(Spe)을 제안한다. 이는 비구조화된 점군에서 세밀한 3D 부호거리장(SDFs)을 재구성하는 데 있어 MLP의 능력을 크게 향상시킨다. Spe는 푸리에 위치 인코딩과 SIREN보다 SDF 재구성 품질에서 뛰어나며, 이미지 재구성 작업으로의 일반화 능력도 뛰어나다.

ABSTRACT

Multilayer perceptrons (MLPs) have been successfully used to represent 3D shapes implicitly and compactly, by mapping 3D coordinates to the corresponding signed distance values or occupancy values. In this paper, we propose a novel positional encoding scheme, called Spline Positional Encoding, to map the input coordinates to a high dimensional space before passing them to MLPs, for helping to recover 3D signed distance fields with fine-scale geometric details from unorganized 3D point clouds. We verified the superiority of our approach over other positional encoding schemes on tasks of 3D shape reconstruction from input point clouds and shape space learning. The efficacy of our approach extended to image reconstruction is also demonstrated and evaluated.

연구 동기 및 목표

• 비구조화된 점군에서 훈련할 경우, 좌표 기반 MLP가 고주파 기하학적 세부 정보를 포착하는 데에 한계를 가지는 문제를 해결한다.
• ReLU 활성화를 사용하는 MLP의 스펙트럼 편향을 극복하여, 낮은 주파수 피팅 능력은 뛰어나지만 고주파 세부 정보 복구가 어려운 문제를 해결한다.
• 고정된 사인 함수(예: 푸리에 위치 인코딩)보다 더 표현력 있고 학습 가능한 위치 인코딩을 개발하여, MLP의 표현 능력을 향상시킨다.
• 계층적 스플라인 정밀도 향상 기반의 다중 척도 훈련 전략을 통해 SDF의 안정적이고 점진적인 학습을 가능하게 한다.
• 제안된 방법이 3D 형상 재구성 외에도 2D 이미지 재구성 작업 등 다양한 연속적 표현 작업으로 일반화될 수 있음을 보여준다.

제안 방법

• 입력 3D 좌표를 등간격 균일한 근사점을 가진 학습 가능한 B-스플라인 기저 함수를 사용해 고차원 공간으로 매핑하는 스플라인 위치 인코딩(Spe)을 제안한다.
• 위치 인코딩을 B-스플라인 기저 함수의 가중치 합으로 정의하며, 이 가중치는 학습 가능한 파rameter이므로 적응적이고 표현력 있는 특징 매핑이 가능하다.
• 스플라인 해상도를 점진적으로 향상시키는 다중 척도 훈련 전략을 사용하여, 네트워크가 더 나은 국소 최적점으로 수렴하고 세부 정보를 단계적으로 복구할 수 있도록 한다.
• MLP 이전의 전처리 레이어로 Spe를 통합하여, 고정 인코딩(예: 푸리에 또는 사인 기반)을 대체함으로써, 고주파 SDF를 더 잘 모델링할 수 있는 능력을 향상시킨다.
• SDF 값에 대한 L1 손실과 Eikonal 정규화를 조합하여 MLP를 훈련시키며, |∇F(x)| ≈ 1을 강제함으로써 출력이 유효한 SDF임을 보장한다.
• 2D 좌표에 Spe를 적용하여 이미지 재구성에 확장하며, 평가 지표로 L2 손실과 PSNR를 사용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 B-스플라인 기반 위치 인코딩이 원시 점군에서 3D SDF의 고주파 세부 정보를 재구성하는 데 있어 고정 사인 함수(예: 푸리에)보다 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 스플라인 위치 인코딩(Spe)이 단일 형상 및 형상 공간 학습 시나리오에서 MLP의 일반화 능력과 강건성을 향상시키는가?
• RQ3 계층적 스플라인 정밀도 향상 기반의 다중 척도 훈련 전략이 수렴성과 재구성 품질에 어떤 영향을 미치는가?
• RQ4 Spe는 3D SDF 학습을 넘어 2D 이미지 재구성과 같은 다른 연속적 표현 작업으로 효과적으로 일반화될 수 있는가?
• RQ5 이미지 및 SDF 재구성 작업에서 PSNR와 시각적 정확도 측면에서 Spe의 성능이 SIREN과 푸리에 위치 인코딩보다 어떻게 비교되는가?

주요 결과

• D-Faust 데이터셋의 Bimba 형상에서 Spe는 Chamfer 거리(1.18)와 SDF MAE에서 IGR(1.41), SIREN(1.39), FPE(1.44)를 모두 앞서는 최고 성능을 기록했다.
• SDF 회귀 작업에서 Spe는 Bimba에서 최저 Chamfer 거리(1.18)를 기록했으며, 테스트된 모든 형상에서 일관되게 최상위 성능을 보였다.
• 이미지 재구성에서 M=32개의 투사 방향을 사용한 Spe는 텍스트 이미지에서 PSNR 40.4, 자연 이미지에서 33.6을 기록했으며, SIREN(35.6 및 31.1)과 FPE(33.7 및 30.8)를 모두 초월했다.
• 시각적 비교 결과, Spe는 노이즈 패atters를 보이는 FPE와 더 흐릿한 결과를 보이는 SIREN보다 더 선명하고 더 정확한 지오메트릭 세부 정보를 재현했다.
• 다중 척도 훈련 전략은 점진적 정밀도 향상을 가능하게 하여 수렴성을 향상시키고, SDF의 세밀한 기하학적 세부 정보 복구 능력을 향상시켰다.
• 제거 실험 결과, 고정 인코딩 대비 학습 가능한 스플라인 가중치의 학습 가능성은 특히 고주파 세부 정보 복구에서 모델링 능력을 크게 향상시킨다는 것이 확인되었다.