[논문 리뷰] NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing

Bangbang Yang, Chong Bao외 5명|arXiv (Cornell University)|2022. 07. 25.

3D Shape Modeling and Analysis인용 수 22

한 줄 요약

NeuMesh는 메시 스캐폴드에서 기하학과 텍스처 코드를 각각 해제된 방식으로 인코딩하여 메시 가이드 기하 편집 및 영역별 텍스처 편집(텍스처 교체, 채움, 페인팅 포함)을 가능하게 하며, 학습 가능한 부호 지시자, 증류-미세조정 학습 및 공간 인식적 텍스처 최적화를 통해 편집 충실도를 향상시킵니다.

ABSTRACT

Very recently neural implicit rendering techniques have been rapidly evolved and shown great advantages in novel view synthesis and 3D scene reconstruction. However, existing neural rendering methods for editing purposes offer limited functionality, e.g., rigid transformation, or not applicable for fine-grained editing for general objects from daily lives. In this paper, we present a novel mesh-based representation by encoding the neural implicit field with disentangled geometry and texture codes on mesh vertices, which facilitates a set of editing functionalities, including mesh-guided geometry editing, designated texture editing with texture swapping, filling and painting operations. To this end, we develop several techniques including learnable sign indicators to magnify spatial distinguishability of mesh-based representation, distillation and fine-tuning mechanism to make a steady convergence, and the spatial-aware optimization strategy to realize precise texture editing. Extensive experiments and editing examples on both real and synthetic data demonstrate the superiority of our method on representation quality and editing ability. Code is available on the project webpage: https://zju3dv.github.io/neumesh/.

연구 동기 및 목표

• 전통적인 메시 기반 워크플로우와 일치하는 편집 가능 신경 렌더링의 동기를 제시합니다.
• 분리된 기하 및 외관(appearance)을 가진 메시 기반의 정점 바인딩 잠재 필드를 도입하여 로컬 편집을 가능하게 합니다.
• 새로운 기법과 학습 체계를 통해 비강체(non-rigid) 기하 편집 및 세밀한 텍스처 편집을 가능하게 합니다.
• 기하 및 텍스처에 대한 편집 가능한 제어를 제공하면서도 높은 렌더링 품질을 유지합니다.

제안 방법

• 장면을 메시 스캐폴드 위의 정점 바운드 잠재 코드(기하 l^g와 텍스처 l^t)로 표현하고 각 정점에 학습 가능한 부호 지시자(sign indicators)를 부여합니다.
• 레이(ray) 상에서 K개 이웃 메시 정점으로부터 코드와 투영 거리의 보간을 통해 로컬 입력을 형성하고 기하(해당 SDF s)와 방사도(decoder) 색상 c를 분리된 디코더에 전달합니다.
• 사전 좌표 기반 암시적 필드에서의 증류-미세조정 학습 체계를 사용하여 최적화를 안정화하고 세부 정보를 향상시킵니다.
• 각 정점마다 학습 가능한 부호 지시자 n을 도입하여 보간된 부호 거리 h(x)를 계산하고 watertight 메쉬가 필요 없이 공간 구분 가능성을 향상시킵니다.
• 페인팅된 광선을 기반으로 영향을 받는 텍스처 코드를 선택적으로 미세 조정하는 dilated 페인트 마스크를 통한 공간 인식적 텍스처 최적화 전략을 적용합니다.
• 메시 편집으로 기하를 메시 자체만 변형하고, 이는 암시적 필드를 자동으로 변형시키며 상대 법선 회전 조정을 통해 일관성을 유지합니다.
• 텍스처 코드 교환, 템플릿 텍스처로부터의 텍스처 채움, 2D 뷰로부터의 페인팅을 통한 설계 가능한 텍스처 편집을 제공하고 메시에서 영역별 로컬 제어를 지원합니다.]
• research_questions: [
• 메시 기반 신경 암시적 표현이 고품질 렌더링을 유지하면서 기하 및 텍스처에 대한 직관적인 편집 작업을 지원할 수 있는가?
• 기하 및 텍스처를 어떻게 해제하고 로컬 편집하되 렌더링 충실도나 아티팩트를 희생하지 않는가?
• 학습 가능한 부호 지시자, 증류, 공간 인식 최적화와 같은 메커니즘이 뷰 간 안정적 학습 및 정밀한 텍스처 편집을 가능하게 하는가?
• 메시 가이던 편집이 실제 및 합성 데이터에서 이전 신경 렌더링 방법에 비해 얼마나 잘 전달되는가?

실험 결과

연구 질문

• RQ1 메시 기반 신경 암시적 표현이 고품질 렌더링을 유지하면서 기하 및 텍스처에 대한 직관적인 편집 작업을 지원할 수 있는가?
• RQ2 기하 및 텍스처를 어떻게 해제하고 로컬 편집하되 렌더링 충실도나 아티팩트를 희생하지 않는가?
• RQ3 학습 가능한 부호 지시자, 증류, 공간 인식 최적화와 같은 메커니즘이 뷰 간 안정적 학습 및 정밀한 텍스처 편집을 가능하게 하는가?
• RQ4 메시 가이던 편집이 실제 및 합성 데이터에서 이전 신경 렌더링 방법에 비해 얼마나 잘 전달되는가?

주요 결과

• NeuMesh는 DTU 및 NeRF 360 합성 데이터 세트에서 NeuS 및 NeuTex에 비해 경쟁력 있는 렌더링 품질을 달성합니다.
• 제안된 텍스처 편집 기능에는 텍스처 교체, 템플릿 텍 textures로의 텍스처 채움, 2D 뷰에서의 텍스처 페인팅이 포함되며 로컬성 및 뷰 일관성이 향상됩니다.
• 메시 가이드 기하 편집은 naïve한 필드-왜곡 방식보다 더 매끄럽고 표면 일관된 변형을 생성합니다.
• 정점당 학습 가능한 부호 지시자와 증류+미세조정 학습 체계는 안정적인 학습과 더 높은 이미지 품질에 결정적입니다.
• 공간 인식적 텍스처 최적화는 단일 뷰에서의 페인팅 시 아티팩트를 줄이고 영역별 텍스처 편집을 정밀하게 가능하게 합니다.
• 정량적 결과에서 당사는 DTU에서 PSNR 28.289, NeRF360에서 30.945를 달성하고 각각 SSIM 0.921 및 0.951, LPIPS 0.117 및 0.043를 기록하여 주요 지표에서 NeuTex 및 NeuS를 능가합니다.