[논문 리뷰] ARF: Artistic Radiance Fields

Kai Zhang, Nick Kolkin외 5명|arXiv (Cornell University)|2022. 06. 13.

Computer Graphics and Visualization Techniques인용 수 7

한 줄 요약

ARF는 렌디언스 필드를 사용하여 2D 스타일 이미지의 예술적 특징을 3D 시점으로 전달하는 새로운 방법을 제안한다. 세밀한 디테일과 브러시 스토커를 유지하기 위해 최근접 이웃 특징 매칭(NNFM) 손실을 도입하여 그람 행렬 기반 손실보다 우수한 성능을 보이며, 메모리 사용을 줄이기 위해 연기된 역전파를 활용하여 전체 해상도 스타일 손실 최적화를 가능하게 하여 고해상도, 시점 일致성 있는 스타일라이제이션 렌더링을 생성한다.

ABSTRACT

We present a method for transferring the artistic features of an arbitrary style image to a 3D scene. Previous methods that perform 3D stylization on point clouds or meshes are sensitive to geometric reconstruction errors for complex real-world scenes. Instead, we propose to stylize the more robust radiance field representation. We find that the commonly used Gram matrix-based loss tends to produce blurry results without faithful brushstrokes, and introduce a nearest neighbor-based loss that is highly effective at capturing style details while maintaining multi-view consistency. We also propose a novel deferred back-propagation method to enable optimization of memory-intensive radiance fields using style losses defined on full-resolution rendered images. Our extensive evaluation demonstrates that our method outperforms baselines by generating artistic appearance that more closely resembles the style image. Please check our project page for video results and open-source implementations: https://www.cs.cornell.edu/projects/arf/ .

연구 동기 및 목표

• 실세계 3D 시점에 예술적 스타일 이미지를 적용하면서 국소적 디테일과 다중 시점 일관성을 유지하는 고정밀도 3D 스타일라이제이션을 가능하게 하기 위해.
• 기하학적 재구성(예: 메시 또는 포인트 클라우드)에 의존하는 기존 3D 스타일라이제이션 방법의 한계를 해결하기 위해, 특히 복잡한 시점에서의 아티팩트 발생을 방지하기 위해.
• 기존 3D 스타일라이제이션 접근법에서 그람 행렬 기반 스타일 손실로 인해 발생하는 흐림과 스타일 디테일 손실 문제를 해결하기 위해.
• 기존에 메모리 집약적인 렌디언스 필드에 대해 전체 해상도 이미지 손실 최적화를 가능하게 하기 위한 새로운 메모리 효율적인 훈련 기법을 제안하기 위해.
• 전용 색상 전이 단계와 개선된 손실 설계를 통해 정확한 색상 매칭과 높은 품질의 스타일라이제이션을 달성하기 위해.

제안 방법

• 기존에 재구성된 포토레얼리스틱 렌디언스 필드 위에서 최적화 문제로 3D 스타일라이제이션을 설정하며, 콘텐츠 손실과 스타일 손실을 모두 최소화한다.
• 렌더링된 이미지의 국소적 특징 벡터를 스타일 이미지의 VGG 특징 맵 내 가장 가까운 이웃과 매칭하는 최근접 이웃 특징 매칭(NNFM) 손실을 도입하여 국소적 디테일 보존을 향상시킨다.
• 콘텐츠 구조를 유지하기 위해 VGG 기반 특징 손실을 사용하여 스타일라이제이션된 시점이 원본 기하학적 구조와 충실하게 유지되도록 보장한다.
• 스타일라이제이션된 렌더링의 색조를 입력 스타일 이미지와 일치시키기 위해 색상 전이 기법을 적용하여 시각적 정확도를 향상시킨다.
• 전용으로 제안된 연기된 역전파를 통해 전체 해상도 VGG 기반 스타일 손실을 계산하면서도 GPU 메모리 사용량을 줄이기 위해 패치 단위로 기울기 값을 캐시하고 누적한다.
• NeRF, Plenoxels, TensoRF를 포함한 여러 렌디언스 필드 표현 방식과 호환 가능하여 광범위한 적용성을 확보한다.

실험 결과

연구 질문

• RQ1 복잡한 실세계 시점에서 메시나 포인트 클라우드 기반 방법에 비해 렌디언스 필드 기반 접근법이 더 뛰어난 3D 스타일라이제이션 품질을 달성할 수 있는가?
• RQ2 최근접 이웃 기반 스타일 손실(NNFM)이 일반적으로 사용되는 그람 행렬 기반 손실보다 브러시 스토커와 같은 세밀한 예술적 디테일을 더 효과적으로 보존하는가?
• RQ3 메모리 집약적인 렌디언스 필드에서 전체 해상도 스타일 손실을 과도한 GPU 메모리 소비 없이 효율적으로 최적화할 수 있는가?
• RQ4 특징 추출에 사용된 VGG 레이어의 선택이 스타일라이제이션된 3D 렌더링 품질에 어떤 영향을 미치는가?
• RQ5 색상 전이가 스타일라이제이션된 렌더링과 입력 스타일 이미지 간의 시각적 일치도를 어느 정도 향상시키는가?

주요 결과

• NNFM 손실은 그람 행렬 기반 손실에 비해 국소적 스타일 디테일을 크게 우수하게 보존하여 흐림을 줄이고 더 선명하고 충실한 스타일라이제이션 렌더링을 생성한다.
• 사용자 연구 결과, ARF는 시각적 품질과 스타일 충실도 측면에서 베이스라인 방법보다 일관되게 선호됨을 확인하였다.
• 복잡한 기하학적 구조를 가진 시점에서도 여러 시점에서 일관된 스타일라이제이션 렌더링을 생성한다.
• 절단 실험 결과, NNFM 손실과 색상 전이 단계가 모두 고품질 결과를 얻기 위해 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 눈에 띄는 품질 저하가 발생한다.
• 연기된 역전파 기법을 통해 표준 방법 대비 GPU 메모리 사용량을 50-70% 감소시키며 전체 해상도 스타일 손실 계산을 가능하게 한다.
• ARF는 다양한 실세계 시점, 특히 Tanks and Temples 데이터셋의 시점들에서 메시 기반 베이스라인에 비해 기하학적 아티팩트가 최소화되면서 최신 기술 수준의 스타일라이제이션 품질을 달성한다.