[논문 리뷰] NeRF-Editing: Geometry Editing of Neural Radiance Fields

Yu-Jie Yuan, Yang-Tian Sun외 4명|arXiv (Cornell University)|2022. 05. 10.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 재학습 없이도 사용자 제어 기하형상 변형이 가능한 NeRF-Editing를 제안한다. 암시적 NeRF 표현과 명시적 삼각형 메시 간의 대응 관계를 수립함으로써 사용자가 표준 도구를 사용해 메시를 변형할 수 있도록 하며, 변형은 테트라헤드럴 메시를 통해 전파되어 카메라 레이를 굴절시켜 품질 높은 사진 수준의 새로운 시점 합성된 장면을 실현한다.

ABSTRACT

Implicit neural rendering, especially Neural Radiance Field (NeRF), has shown great potential in novel view synthesis of a scene. However, current NeRF-based methods cannot enable users to perform user-controlled shape deformation in the scene. While existing works have proposed some approaches to modify the radiance field according to the user's constraints, the modification is limited to color editing or object translation and rotation. In this paper, we propose a method that allows users to perform controllable shape deformation on the implicit representation of the scene, and synthesizes the novel view images of the edited scene without re-training the network. Specifically, we establish a correspondence between the extracted explicit mesh representation and the implicit neural representation of the target scene. Users can first utilize well-developed mesh-based deformation methods to deform the mesh representation of the scene. Our method then utilizes user edits from the mesh representation to bend the camera rays by introducing a tetrahedra mesh as a proxy, obtaining the rendering results of the edited scene. Extensive experiments demonstrate that our framework can achieve ideal editing results not only on synthetic data, but also on real scenes captured by users.

연구 동기 및 목표

• 암시적 NeRF 표현에서 직접 편집하기 어려운 상황에서 사용자 제어 기하형상 변형을 가능하게 한다.
• 명시적 메시 표현의 직관적인 편집 방식과 암시적 NeRF의 사진 수준 렌더링 간 격차를 메운다.
• 간단한 물체 이동이나 색상 편집을 넘어서 인간, 동물, 인공 구조물과 같은 복잡한 형상까지 일반적인 시나리오 편집을 지원한다.
• 재학습 없이도 원본 NeRF만을 사용하여 편집된 장면의 고품질 새로운 시점 합성을 달성한다.

제안 방법

• 사전 학습된 NeRF에서 명시적 삼각형 메시를 추출하여 사용자 편집의 직관성을 확보한다.
• 기존의 메시 변형 기법(예: 가능한 한 강성 유지 또는 자유형 변형)을 사용해 삼각형 메시를 변형한다.
• 편집된 삼각형 메시를 감싸는 테트라헤드럴 메시를 구축하여 공간적 변형 프록시로 활용한다.
• 메시 변형을 테트라헤드럴 메시로 전파하여 국소 기하 변화를 인코딩하는 이산 변형 필드를 생성한다.
• 테트라헤드럴 정점 보간을 사용해 이산 변형 필드를 연속적 변형 필드로 변환하여 레이 굴절에 활용한다.
• 렌더링 중 연속적 변형 필드에 따라 카메라 레이를 굴절시켜 최종 이미지가 사용자 기하 편집을 정확히 반영하도록 한다.

실험 결과

연구 질문

• RQ1 명시적 메시 표현에서의 사용자 제어 기하 변형이 암시적 NeRF 표현으로 효과적으로 전이될 수 있는가?
• RQ2 삼각형 메시의 변형이 NeRF의 레이 추적 과정에 정확히 전파될 수 있는가?
• RQ3 메시 품질과 변형 전략이 최종 렌더링 이미지의 시각적 정밀도에 미치는 영향은 어떠한가?
• RQ4 이 방법은 NeRF 네트워크를 재학습하지 않고도 편집된 장면의 사진 수준 렌더링을 달성할 수 있는가?

주요 결과

• 테트라헤드럴 메시에서 편집하는 것보다 삼각형 메시에서 편집할 경우 훨씬 더 우수한 결과를 얻었으며, SSIM은 0.975 vs. 0.934, LPIPS는 0.024 vs. 0.049, PSNR는 29.62 vs. 24.37을 기록했다.
• 이 방법은 합성 및 실세계 장면 모두에서 고품질 편집을 실현하여 인간, 동물, 인공 구조물 등 다양한 물체 유형에 걸쳐 일반화 능력을 입증했다.
• 메시 품질은 최종 결과에 미미한 영향을 미치며, NeRF 및 NeuS 기반 메시 모두가 시각적으로 만족스러운 출력을 생성했고, NeuS 메시가 略적으로 더 우수한 성능을 보였다.
• 재학습 없이도 NeRF의 사진 수준 렌더링 품질을 유지하면서 제어 가능한 기하 편집을 성공적으로 실현했다.
• 조명 및 외관 변화가 기하 변화와 동기화되지 않을 경우 실패 케이스가 발생한다—예를 들어, 변형 후 그림자 영역이 어두운 상태로 유지되는 경우로, 재조명 통합이 필요함을 시사한다.