[논문 리뷰] Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

Jiaxiang Tang, Hang Zhou외 5명|arXiv (Cornell University)|2023. 03. 03.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 NeRF에서 유도된 거친 메시를 적응적으로 정밀화하여 다중 시점 RGB 이미지에서 고품질의 텍스처가 부여된 표면 메시를 복원하는 프레임워크인 NeRF2Mesh를 제안한다. 2D 렌더링 오차를 기반으로 반복적으로 정점과 면 밀도를 조정함으로써 기하학적 구조와 외관을 공동 최적화하며, 반사율이 있는 디퓨즈 및 시야 의존적 스페큘러 텍스처를 갖춘 실시간 렌더링이 가능한 메시를 생성한다.

ABSTRACT

Neural Radiance Fields (NeRF) have constituted a remarkable breakthrough in image-based 3D reconstruction. However, their implicit volumetric representations differ significantly from the widely-adopted polygonal meshes and lack support from common 3D software and hardware, making their rendering and manipulation inefficient. To overcome this limitation, we present a novel framework that generates textured surface meshes from images. Our approach begins by efficiently initializing the geometry and view-dependency decomposed appearance with a NeRF. Subsequently, a coarse mesh is extracted, and an iterative surface refining algorithm is developed to adaptively adjust both vertex positions and face density based on re-projected rendering errors. We jointly refine the appearance with geometry and bake it into texture images for real-time rendering. Extensive experiments demonstrate that our method achieves superior mesh quality and competitive rendering quality.

연구 동기 및 목표

• 실시간 그래픽스 및 상호작용 응용 분야에서의 활용도를 제한하는 암시적 NeRF와 명시적 다각형 메시 사이의 표현 갭을 해소하기 위해.
• NeRF의 암시적 표현 방식이 일반적인 3D 소프트웨어 및 하드웨어와의 호환성 부족과 효율성 부족 문제를 해결하기 위해.
• 세밀한 디테일과 시야 의존적 외관을 유지하면서도 경쟁적인 렌더링 품질을 확보하는 고정밀도 메시 재구성 기능을 제공하기 위해.
• 게임 엔진 및 CAD 도구에서 사용할 수 있도록 표준 RGB 및 기능 기반 텍스처를 갖춘 메시를 내보내어 실용적인 후속 응용을 지원하기 위해.

제안 방법

• 사전 학습된 NeRF를 사용하여 기하학적 구조와 시야 의존적 외관을 초기화하고, 외관을 디퓨즈 및 스페큘러 성분으로 분해한다.
• Marching Cubes 또는 유사한 방법을 사용하여 NeRF의 암시적 표현에서 거친 메시를 추출한다.
• 렌더링된 이미지에서 재투영 오차를 기반으로 정점 위치와 면 밀도를 조정하는 반복적 적응형 표면 정밀화 알고리즘을 적용한다.
• 면 정밀화가 오차 크기와 표면 복잡도에 따라 유도되도록, 2D 렌더링 손실을 최소화함으로써 기하학적 구조와 외관을 공동 최적화한다.
• 최적화된 디퓨즈 색상을 RGB 텍스처로 베이킹하고, 스페큘러 반응을 기능 텍스처로 변환하여 프래그먼트 셰이더 내 소형 MLP를 통해 실시간 렌더링을 가능하게 한다.
• 메시의 매끄러움을 향상시키고 과적합을 방지하기 위해 정규화 손실(TV 손실, 엔트로피 손실)을 도입한다.

실험 결과

연구 질문

• RQ1 NeRF에서 추출한 거친 메시가 시야 의존적 외관을 유지하면서도 높은 기하학적 정밀도를 달성하기 위해 효과적으로 정밀화될 수 있는가?
• RQ2 2D 렌더링 오차를 기반으로 한 적응형 메시 정밀화가 고정 또는 균일한 정밀화 방식에 비해 메시 품질과 렌더링 정확도를 어떻게 향상시키는가?
• RQ3 결과로 도출된 텍스처가 부여된 메시가 표준 3D 그래픽스 파이프라인에서 실시간 렌더링과 상호작용 편집을 얼마나 잘 지원하는가?
• RQ4 적응형 정밀화와 균일한 정밀화를 비교할 때, 메시 복잡도(정점/면 수)와 렌더링 품질 사이의 상충 관계는 어떠한가?
• RQ5 디퓨즈 및 스페큘러 성분으로 나누어진 외관 분해 방식이 텍스처 편집 가능성과 렌더링의 현실감에 어떤 영향을 미치는가?

주요 결과

• NeRF2Mesh는 NeRF-synthetic 데이터셋에서 평균 PSNR 29.76, SSIM 0.940을 기록하여, 메시 기반 렌더링 품질에서 볼륨 기반 NeRF를 능가하는 경쟁적인 렌더링 품질을 확보했다.
• LLFF 데이터셋에서 메시 기반 렌더링은 평균 PSNR 24.75, SSIM 0.780를 기록하여 시나리오 수준의 재구성에 대한 강력한 일반화 능력을 입증했다.
• Mip-NeRF 360 데이터셋에서 메서드는 PSNR 22.36, SSIM 0.493를 기록하여 배경 혼잡이 있는 어려운 복잡한 시나리오에서도 뛰어난 강건성을 보였다.
• 절단 실험 결과, TV 손실을 제거할 경우 메시의 매끄러움이 떨어지고 LPIPS 값이 증가함(0.483 vs. 0.478)을 확인했으며, 엔트로피 손실을 제거할 경우 PSNR가 약간 악화됨(22.32 vs. 22.36)을 확인했다.
• 사전 정의된 Marching Cubes 방식에 비해 메시 크기가 크게 감소하였으며, 적응형 정밀화가 고오차 영역에 집중함으로써 더 작고 효율적인 메시를 생성했다.
• Figure 10에서 보여지듯이, 프레임워크는 LOD 지원 및 실시간 렌더링을 성공적으로 구현하였으며, 표준 3D 소프트웨어를 통한 상호작용 편집도 가능했다.