[논문 리뷰] ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields

Xingyu Miao, Yang Bai외 5명|arXiv (Cornell University)|2024. 02. 02.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

ConRF는 재학습 없이 텍스트 또는 이미지 참조를 사용하여 3D 시점의 스타일을 제로샷으로 전환할 수 있도록 하며, CLIP 특징을 VGG 기반 스타일 공간으로 매핑하고 3D 체적 선택 영역을 활용하여 局소적 스타일 전이를 수행함으로써, 새로운 시각 생성에서 최상의 시각적 품질과 일관성을 달성한다.

ABSTRACT

Most of the existing works on arbitrary 3D NeRF style transfer required retraining on each single style condition. This work aims to achieve zero-shot controlled stylization in 3D scenes utilizing text or visual input as conditioning factors. We introduce ConRF, a novel method of zero-shot stylization. Specifically, due to the ambiguity of CLIP features, we employ a conversion process that maps the CLIP feature space to the style space of a pre-trained VGG network and then refine the CLIP multi-modal knowledge into a style transfer neural radiation field. Additionally, we use a 3D volumetric representation to perform local style transfer. By combining these operations, ConRF offers the capability to utilize either text or images as references, resulting in the generation of sequences with novel views enhanced by global or local stylization. Our experiment demonstrates that ConRF outperforms other existing methods for 3D scene and single-text stylization in terms of visual quality.

연구 동기 및 목표

• 기존 3D 스타일 전이 방법이 새로운 스타일마다 재학습이 필요로 하는 한계를 해결한다.
• 텍스트 또는 이미지 참조를 조건부 요소로 사용하여 3D 시점의 제로샷 스타일 전이를 가능하게 한다.
• 예술적 스타일을 포괄하는 데 있어 CLIP 특징의 모호성을 줄이기 위해 이를 VGG 기반 스타일 공간으로 매핑한다.
• 텍스트 프롬프트를 기반으로 한 국소적 스타일 전이를 가능하게 하기 위해 3D 체적 선택 메커니즘을 도입한다.
• 모델을 각 스타일마다 미세조정 없이도 고해상도이자 일관성 있는 스타일 전이를 달성한다.

제안 방법

• 텍스트 프롬프트 또는 참조 이미지에서 CLIP의 텍스트 및 이미지 인코더를 사용해 특징을 추출한다.
• CLIP 특징을 VGG 특징 공간으로 매핑하는 데 사용되는 매핑 네트워크를 학습시켜 스타일 표현의 모호성을 감소시킨다.
• 매핑된 스타일 특징을 신경형 복사 방사선 장치에 통합하여 3D 시점의 전역적 스타일 전이를 수행한다.
• 텍스트 프롬프트 기반의 국소적 스타일 전이를 가능하게 하기 위해 다중 스케일 공간 특징 추출 기능을 갖춘 3D 선택 영역을 도입한다.
• 스타일 특징 손실과 일관성 손실을 학습 중에 적용하여 스타일의 정확성과 시각 일관성을 유지한다.
• CLIP의 제로샷 이미지-텍스트 매칭을 활용하여 재학습 없이도 알려지지 않은 텍스트나 이미지 참조를 조건부로 사용해 추론을 수행한다.

실험 결과

연구 질문

• RQ1 CLIP 특징을 VGG 기반 스타일 공간으로 효과적으로 매핑하여 제로샷 3D 스타일 전이를 가능하게 할 수 있는가?
• RQ2 텍스트 프롬프트만을 조건부로 사용하여 3D 시점에서 국소적 스타일 전이를 어떻게 달성할 수 있는가?
• RQ3 매핑 네트워크와 손실 구성 요소가 스타일 전이의 품질과 일관성에 미치는 영향은 무엇인가?
• RQ4 재학습 없이도 알려지지 않은 텍스트나 이미지 참조에 일반화될 수 있는가?
• RQ5 3D 선택 영역은 국소적 스타일 적용에 대해 어떻게 세밀한 제어를 가능하게 하는가?

주요 결과

• 기준선인 StyleRF 대비 단거리 LPIPS는 31% 향상되고 장거리 LPIPS는 59.4% 향상되어, 더 뛰어난 시각 일관성을 확보함을 시사한다.
• 텍스트 기반 스타일 전이에서 CLIPStyler와 CLIP-NeRF를 모두 능가하여 텍스트 스타일 기술과의 정확한 일치를 보였다.
• 절단 실험 결과, 매핑 모듈을 제거할 경우 스타일 전이 품질이 심각하게 악화되어 그 필수성을 입증하였다.
• 일관성 손실은 스타일 전이 품질을 크게 향상시키며, 스타일 특징 손실은 参照 스타일에 대한 정확도를 향상시킨다.
• 다중 공간 특징 추출 전략에서 창문 크기 32가 국소적 스타일 전이에 가장 깔끔하고 정확한 마스크를 생성함을 확인하였다.
• 한계점으로는 이미지 내 텍스트 스타일(예: 파란색 글씨)을 잘 처리하지 못하고 있으며, 국소적 스타일 전이 시 현재는 얼굴을 햖이 향한 시점에 국한되어 있다.