[논문 리뷰] NeRF-Art: Text-Driven Neural Radiance Fields Stylization

Can Wang, Ruixiang Jiang외 4명|arXiv (Cornell University)|2022. 12. 15.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

NeRF-Art는 텍스트 프롬프트 하나로 사전 훈련된 NeRF의 외관과 기하학을 동시에 조작하는 텍스트 기반 신경 렌디언스 필드 스타일화 방법을 제안한다. 글로벌-로컬 대비 손실, 방향성 있는 CLIP 가이던스, 가중치 정규화를 조합함으로써 메시 수비 없이 일관되고 고화질의 스타일화를 달성하며, 잡음과 예기치 않은 아티팩트를 효과적으로 억제하고, 다양한 시점 간 균일한 스타일 전이를 가능하게 한다.

ABSTRACT

As a powerful representation of 3D scenes, the neural radiance field (NeRF) enables high-quality novel view synthesis from multi-view images. Stylizing NeRF, however, remains challenging, especially on simulating a text-guided style with both the appearance and the geometry altered simultaneously. In this paper, we present NeRF-Art, a text-guided NeRF stylization approach that manipulates the style of a pre-trained NeRF model with a simple text prompt. Unlike previous approaches that either lack sufficient geometry deformations and texture details or require meshes to guide the stylization, our method can shift a 3D scene to the target style characterized by desired geometry and appearance variations without any mesh guidance. This is achieved by introducing a novel global-local contrastive learning strategy, combined with the directional constraint to simultaneously control both the trajectory and the strength of the target style. Moreover, we adopt a weight regularization method to effectively suppress cloudy artifacts and geometry noises which arise easily when the density field is transformed during geometry stylization. Through extensive experiments on various styles, we demonstrate that our method is effective and robust regarding both single-view stylization quality and cross-view consistency. The code and more results can be found in our project page: https://cassiepython.github.io/nerfart/.

연구 동기 및 목표

• 메시 수비 없이 텍스트 기반으로 NeRF의 기하학과 외관을 동시에 수정할 수 있는 텍스트 기반 스타일화를 가능하게 하는 것.
• 기존 NeRF 스타일화 방법에서 발생하는 일관성 없는 스타일화 강도와 낮은 시점 간 일관성 문제를 해결하는 것.
• NeRF 스타일화 과정에서 발생하는 기하학적 변형으로 인한 안개 같은 아티팩트와 기하학적 노이즈를 억제하는 것.
• 자연어 프롬프트만을 사용하여 균일하고 의미 있는 스타일 전이를 달성하는 것.
• 다양한 스타일과 VolSDF, NeuS와 같은 NeRF 유사 아키텍처에 대해 강건성을 입증하는 것.

제안 방법

• 로컬 이미지 패치와 전체 시점 간 일관된 스타일 강도를 보장하기 위해 글로벌-로컬 대비 학습 전략을 도입한다.
• CLIP의 임bedding 공간에서 텍스트 프롬프트의 의미적 방향과 일치하도록 방향성 있는 CLIP 가이던스를 적용한다.
• 기하학적 변형 중 밀도 필드의 농도를 집중시켜 안개 같은 아티팩트를 억제하기 위해 가중치 정규화 손실을 적용한다.
• 두 단계 최적화 프로세스를 사용한다: 먼저 대비 손실을 통해 스타일화된 NeRF의 특징을 텍스트 프롬프트와 정렬하고, 이후 방향성 제약을 통해 정밀 조정한다.
• 참고 이미지나 명시적 기하학 수비 없이도 CLIP의 시각-언어 임베딩을 활용해 외관과 형태의 변형을 안내한다.
• VolSDF와 NeuS와 같은 모델에 동일한 손실 및 최적화 프레임워크를 적용함으로써 다양한 NeRF 아키텍처에 적응 가능한 스타일화 과정을 설계한다.

실험 결과

연구 질문

• RQ1 텍스트 프롬프트만으로 기하학과 외관을 동시에 수정하는 일관되고 고화질의 NeRF 스타일화를 이끌 수 있는가?
• RQ2 글로벌 및 로컬 대비 학습을 어떻게 조합하여 3D 시점 전체에 걸쳐 균일한 스타일 전이를 달성할 수 있는가?
• RQ3 방향성 있는 CLIP 가이던스는 스타일 전이의 궤적과 강도를 제어하는 데 어떤 역할을 하는가?
• RQ4 가중치 정규화가 NeRF 스타일화 중 기하학적 아티팩트와 밀도 노이즈를 효과적으로 억제할 수 있는가?
• RQ5 이 방법은 다양한 NeRF 아키텍처와 다양한 예술 스타일에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 글로벌-로컬 대비 손실은 전역 또는 국소 손실만을 사용할 때보다 스타일화의 균일성을 크게 향상시켜, 영역 간 과도한 또는 부족한 스타일화를 감소시킨다.
• 방향성 있는 CLIP 가이던스와 대비 학습을 조합함으로써 스타일 전이 궤적을 정확히 제어할 수 있었고, 더 의미적으로 일치하는 스타일화 결과를 도출했다.
• 가중치 정규화가 안개 같은 아티팩트와 기하학적 노이즈를 효과적으로 억제했으며, 특히 높은 변형이 발생하는 영역에서 그 효과가 뚜렷하게 드러났다 (정성적 비교 결과 참조).
• 복잡한 시나리오인 인간 얼굴이나 추상적 환경에서도 여러 시점 간 일관되고 시각적으로 매력적인 스타일화를 달성했다.
• NeRF-Art는 VolSDF와 NeuS와 같은 다양한 NeRF 유사 모델로도 잘 일반화되어 있으며, 아키텍처 간 전이 가능성도 입증했다.
• 모호하거나 의미 없는 프롬프트(예: '디지털 페인팅', '입이 있는 배트맨')는 예상치 못한 또는 비논리적인 결과를 유도할 수 있는 한계를 보였다.