[논문 리뷰] ViCA-NeRF: View-Consistency-Aware 3D Editing of Neural Radiance Fields

Jiahua Dong, Yu-Xiong Wang|arXiv (Cornell University)|2024. 02. 01.

Advanced Neural Network Applications인용 수 7

한 줄 요약

ViCA-NeRF는 뷰 간 일관성을 인식하는 텍스트 지시 기반 NeRF의 3D 편집 방법으로, 기하학적 및 학습 정규화를 사용해 편집을 뷰 간에 전파하고 더 빠르고 더 일관된 결과를 얻는 최초의 방법이다.

ABSTRACT

We introduce ViCA-NeRF, the first view-consistency-aware method for 3D editing with text instructions. In addition to the implicit neural radiance field (NeRF) modeling, our key insight is to exploit two sources of regularization that explicitly propagate the editing information across different views, thus ensuring multi-view consistency. For geometric regularization, we leverage the depth information derived from NeRF to establish image correspondences between different views. For learned regularization, we align the latent codes in the 2D diffusion model between edited and unedited images, enabling us to edit key views and propagate the update throughout the entire scene. Incorporating these two strategies, our ViCA-NeRF operates in two stages. In the initial stage, we blend edits from different views to create a preliminary 3D edit. This is followed by a second stage of NeRF training, dedicated to further refining the scene's appearance. Experimental results demonstrate that ViCA-NeRF provides more flexible, efficient (3 times faster) editing with higher levels of consistency and details, compared with the state of the art. Our code is publicly available.

연구 동기 및 목표

• 텍스트 지시를 사용하여 NeRF의 다중 뷰 일관된 3D 편집을 목표로 하고 가능하게 한다.
• 깊이 가이드 기하학적 정규화를 활용하여 편집을 뷰 간에 전파한다.
• 확산 모델에서 잠재 코드 정렬을 사용하여 편집을 안정화하고 다듬는다.
• 두 단계 편집 파이프라인: mixup 및 블렌딩으로 초기 핵심 뷰 편집, 그 후 NeRF 훈련.
• 확산 기반 데이터셋 업데이트와 NeRF 최적화를 분리하여 효율성을 향상시킨다.]
• method:[
• 핵심 뷰를 정의하고 Instruct-Pix2Pix를 사용하여 이러한 뷰에 텍스트 지시 기반 편집을 수행한다.
• 깊이 가이드 투사 및 이미지 대응을 사용하여 다른 뷰로 편집을 전파한다.
• 두 차례의 Instruct-Pix2Pix 패스와 평균 잠재 코드로 mixup 아티팩트를 제거하는 블렌딩 정제 모델을 도입한다.
• 전체 NeRF 훈련 전에 편집을 효율적으로 확장하기 위한 워밍업 전략을 도입한다.
• NeRF 최적화 후 일관성을 높이기 위한 포스트-정제 단계를 선택적으로 적용한다.]
• research_questions:[
• 핵심 뷰 하위 집합에 대한 편집이 깊이 가이드 대응을 통해 NeRF의 모든 뷰로 일관되게 전파될 수 있는가?
• 편집된 이미지와 비편집 이미지 간의 2D 확산모델에서 잠재 코드 정렬이 3D 일관성과 디테일을 향상시키는가?
• 기하학적 정규화와 학습 정규화가 선행 방법과 비교해 편집 효율성과 일관성을 어떻게 향상시키는가?
• 워밍업 및 포스트-정제 전략이 편집 효율성과 최종 시각적 품질에 미치는 영향은 무엇인가?]
• key_findings:[
• ViCA-NeRF는 최첨단 기준선들보다 더 높은 다중 뷰 일관성과 디테일을 달성한다.
• 보고된 설정에서 이 방법은 Instruct-NeRF2NeRF보다 약 3배 더 빠르다.
• 핵심 뷰 편집으로 편집을 제어하고 전체 장면으로 전파된다.
• 깊이 가이드 투사와 블렌딩 정제가 깊이 노이즈 및 투사 아티팩트를 완화한다.
• 워밍업 및 포스트-정제 전략이 편집 효율성과 최종 외관을 향상시킨다.]
• table_headers: [],
• table_rows: []}** Correction: The JSON above has formatting issues after translation due to stray brackets. Here is the corrected JSON object:
• tldr_yen not used

제안 방법

• Define key views and perform text-guided edits on these views with Instruct-Pix2Pix.
• Propagate edits to other views using depth-guided projection and image correspondences.
• Introduce a blending refinement model to clean mixup artifacts via two Instruct-Pix2Pix passes and averaged latent codes.
• Incorporate a warm-up strategy to efficiently scale editing before full NeRF training.
• Optionally apply a post-refinement step after NeRF optimization to enhance consistency.

실험 결과

연구 질문

• RQ1 Can edits made to a subset of key views be consistently propagated to all views in a NeRF via depth-guided correspondences?
• RQ2 Does aligning latent codes in the 2D diffusion model between edited and unedited images improve 3D consistency and detail?
• RQ3 How do geometric regularization and learned regularization interact to improve editing efficiency and consistency compared to prior methods?
• RQ4 What is the impact of warm-up and post-refinement strategies on editing efficiency and final visual quality?

주요 결과

• ViCA-NeRF achieves higher multi-view consistency and detail than state-of-the-art baselines.
• The method is approximately 3x faster than Instruct-NeRF2NeRF in the reported setup.
• Editing can be controlled by editing key views, with propagation to the full scene.
• Depth-guided projections plus blending refinement mitigate depth noise and projection artifacts.
• Warm-up and post-refinement strategies improve editing efficiency and final appearance.