[논문 리뷰] HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

Yiqun Wang, Ivan Skorokhodov외 1명|arXiv (Cornell University)|2022. 06. 15.

3D Shape Modeling and Analysis인용 수 47

한 줄 요약

HF-NeuS는 투과를 변형된 SDF로 모델링하고, 고주파 디테일을 위한 기본 SDF + 변위 SDF를 사용하며, 표면 영역의 장애물에 초점을 맞추기 위해 적응적이고 공간적으로 가변적인 최적화를 적용함으로써 신경 표면 재구성을 향상시킵니다.

ABSTRACT

Neural rendering can be used to reconstruct implicit representations of shapes without 3D supervision. However, current neural surface reconstruction methods have difficulty learning high-frequency geometry details, so the reconstructed shapes are often over-smoothed. We develop HF-NeuS, a novel method to improve the quality of surface reconstruction in neural rendering. We follow recent work to model surfaces as signed distance functions (SDFs). First, we offer a derivation to analyze the relationship between the SDF, the volume density, the transparency function, and the weighting function used in the volume rendering equation and propose to model transparency as transformed SDF. Second, we observe that attempting to jointly encode high-frequency and low-frequency components in a single SDF leads to unstable optimization. We propose to decompose the SDF into a base function and a displacement function with a coarse-to-fine strategy to gradually increase the high-frequency details. Finally, we design an adaptive optimization strategy that makes the training process focus on improving those regions near the surface where the SDFs have artifacts. Our qualitative and quantitative results show that our method can reconstruct fine-grained surface details and obtain better surface reconstruction quality than the current state of the art. Code available at https://github.com/yiqun-wang/HFS.

연구 동기 및 목표

• 신경 렌더링에서 3D 감독 없이도 고주파 표면 세부 재현을 개선하고자 함.
• 변환된 부호화 도함수를 기반으로 한 투명도 공식을 도출하고 채택함.
• 기저와 고주파 표면 디테일을 별도로 학습하기 위한 거친-세밀 임의 위치 이동 프레임워크를 제안함.
• 자표적화된 기법을 도입하여 장애물이 있는 표면 영역 주위의 최적화 초점을 조정함.
• 다중 시점 벤치마크 및 고주파 디테일 시나리오에서 최첨단 표면 재구성을 시演함.

제안 방법

• 부호화된 부호 함수(SDF), 부피 밀도, 투명도와 부피 렌더링에서의 가중치 함수 간의 관계를 도출하고, s를 학습 가능한 기울기 매개변수로 하는 단조로운 시그모이드 기반 투명도 함수 T(t)=1/(1+exp(-s f(r(t))))를 제안함.
• SDF를 기저 함수(base)와 암시적 변위 함수(implicit displacement)로 분해하여 저주파 기하와 고주파 기하를 별도로 포착하고, 각 구성요소에 대해 거친-세밀 학습 스킴과 위치 인코딩을 사용함.
• 주파수 제어 위치 인코딩을 사용한 거친-세밀 전략으로 점진적으로 고주파 디테일을 도입하고, 두 개의 MLP를 사용하여 기저(fb)와 변위(fd) 함수를 적응적 샘플링으로 모델링함.
• 레이(Ray)상에서의 그래디언트 노름과 학습된 가중치 체계를 이용해 투명도 매핑의 공간적으로 가변적인 스케일 s를 도입, 표면에 인접한 영역의 장애물에 초점을 맞춤.
• 기저 및 상세 SDF 모두에 대한 방사 손실(Radiance loss)과 아이코날(Eikonal) 정규화 손실로 표면 일관성과 그래디언트 노름 제약을 강화하며 학습함.

실험 결과

연구 질문

• RQ1 투명도를 변환된 SDF로 효과적으로 모델링하여 표면 재구성 품질을 향상시킬 수 있는가?
• RQ2 SDF를 기저와 암시적 변위 함수로 분해하면 3D 감독 없이도 고주파 표면 디테일의 회복을 향상시킬 수 있는가?
• RQ3 거친-세밀, 주파수 제어 학습 스킴이 신경 표면 재구성에서 고주파 기하학의 학습 안정화를 도울 수 있는가?
• RQ4 표면 근처의 장애물 영역에서 투명도 기울기 s를 공간적으로 적응적으로 최적화하면 재구성 정확도가 개선되는가?
• RQ5 HF-NeuS가 벤치마크에서 NeuS와 VolSDF에 비해 Chamfer 거리와 PSNR 측면에서 어떤 차이를 보이는가?

주요 결과

• HF-NeuS는 고주파 디테일 데이터셋에서 NeuS 및 VolSDF보다 표면 재구성 품질이 향상되었으며(정성적 및 정량적 이득이 관찰됨).
• 변환-SDF 기반 투명도 모델은 밀도 계산을 위한 이산화가 더 단순해지고 역 CDF 샘플링을 가능하게 하여 렌더링 정확도를 높임.
• 거친-세밀 주파수 제어가 있는 기저 + 변위 SDF 분해는 단일 SDF보다 네트워크가 고주파 디테일을 더 효과적으로 학습하도록 함.
• 공간적으로 가변적인 기울기 매개변수 s가 장애물이 있는 표면 영역 근처의 최적화를 집중시켜 지역적 충실도를 향상시킴.
• DTU, NeRF-synthetic, BlendedMVS 데이터셋 전반에 걸쳐 HF-NeuS가 PSNR이 더 높고 Chamfer 거리가 더 작으며, 특히 고주파 디테일 시나리오에서 큰 이점을 보임.