[논문 리뷰] CLIP-based Neural Neighbor Style Transfer for 3D Assets

Shailesh Mishra, Jonathan Granskog|arXiv (Cornell University)|2022. 08. 08.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 CLIP-ResNet50를 기반으로 하는 신경형 이웃 스타일 전이 방법을 제안하여 3D 자산의 텍스처 외관을 미분 가능 렌더러와 근접 이웃 특징 매칭 손실을 통해 최적화한다. 이는 VGG 기반 방법보다 더 풍부한 텍스처 스타일 전이를 가능하게 하며, 다수의 스타일 이미지를 지원하고, 자동 추출 또는 수동 입력을 통한 색상 팔레트 제어를 제공하여 기존 렌더러와 호환되는 고품질의 스타일화된 3D 렌더링을 생성한다.

ABSTRACT

We present a method for transferring the style from a set of images to a 3D object. The texture appearance of an asset is optimized with a differentiable renderer in a pipeline based on losses using pretrained deep neural networks. More specifically, we utilize a nearest-neighbor feature matching loss with CLIP-ResNet50 to extract the style from images. We show that a CLIP- based style loss provides a different appearance over a VGG-based loss by focusing more on texture over geometric shapes. Additionally, we extend the loss to support multiple images and enable loss-based control over the color palette combined with automatic color palette extraction from style images.

연구 동기 및 목표

• 기존 3D 렌더러에서 사용 가능한 자동적이고 이미지 기반의 3D 자산 텍스처 스타일화 과제를 해결하기 위해.
• 기하학적 형태보다 텍스처에 초점을 맞추기 위해 CLIP-ResNet50를 활용하여 VGG 기반 스타일 전이를 개선하기 위해.
• 근접 이웃 특징 매칭(NNFM)을 다수의 스타일 이미지 지원 및 예술적 유연성을 위한 색상 팔레트 제어 통합으로 확장하기 위해.
• 복잡한 텍스처 스타일을 2D 개념 예술에서 효과적으로 전이하면서도 콘텐츠를 유지하는 고정밀도 스타일화를 실현하기 위해.

제안 방법

• 이 방법은 복합 손실 함수를 최소화함으로써, 다양한 가능 렌더러를 사용해 3D 텍스처 외관을 최적화한다.
• 렌더링된 이미지와 스타일 이미지의 특징 벡터를 비교함으로써 스타일을 매칭하는 CLIP-ResNet50 특징 기반의 근접 이웃 특징 매칭(NNFM) 손실을 사용한다.
• 각 렌더링 특징 벡터와 스타일 특징 집합 내에서 가장 가까운 이웃 간의 코사인 거리를 계산하며, 공간적 위치는 고려하지 않는다.
• 원본 텍스처의 구조적 특징(예: 눈 또는 얼굴 세부 사항)을 유지하기 위해 VGG16 기반의 콘텐츠 손실을 사용한다.
• K-평균 군집화를 활용해 자동으로 추출하거나 사용자가 제공한 색상 팔레트와 일치하도록 텍스처를 제약하는 색상 팔레트 손실을 적용한다.
• NNFM 계산 중에 스타일 이미지의 특징 벡터를 연결함으로써 다수의 스타일 이미지를 지원하여 스타일 표현을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 CLIP-ResNet50 기반의 근접 이웃 특징 매칭은 3D 텍스처에 대해 VGG16 기반 방법보다 더 텍스처에 충실한 스타일 전이를 가능하게 하는가?
• RQ2 다수의 스타일 이미지를 사용할 경우, 스타일화된 출력의 다양성과 품질은 어떻게 영향을 받는가?
• RQ3 색상 팔레트 제어는 스타일화 결과와 예술적 유연성에 얼마나 기여하는가?
• RQ4 Gram 행렬 기반 또는 VGG 기반 손실과 비교해 CLIP 기반 손실이 텍스처 외관을 더 잘 포착하는가?

주요 결과

• CLIP-ResNet50 NNFM는 VGG16 NNFM보다 더 풍부한 텍스처적 외관을 생성하며, 후자는 브러시 스타일과 기하학적 패턴에 더 초점을 맞춘다.
• CLIP 기반 손실은 페인팅 스타일과 텍스처 스타일을 성공적으로 전이하지만, VGG16 기반 방법은 선형적인 특징(예: 긴 스토크)을 더 잘 유지한다.
• 색상 팔레트 손실과 K-평균 군집화를 조합하면 스타일 이미지와 정확한 색상 일치가 가능하며, 수동 오버라이드를 통해 아티스틱한 제어를 가능하게 한다.
• NNFM 손실에 다수의 스타일 이미지를 포함시킴으로써 시각적 다양성이 증가하고, 새로운 패턴과 색상 변형이 스타일화된 출력에 도입된다.
• 콘텐츠 손실은 소요된 텍스처의 주요 특징(예: 소의 얼굴 세부 사항)을 효과적으로 유지하여 최적화 과정에서의 품질 저하를 방지한다.
• 이 방법은 기존 3D 렌더러에서 직접 렌더링 가능한 스타일화된 3D 자산을 생성하여 제작 파이프라인에 실용적으로 통합할 수 있다.