[논문 리뷰] Optimal Textures: Fast and Robust Texture Synthesis and Style Transfer through Optimal Transport

Eric Risser|arXiv (Cornell University)|2020. 10. 27.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 자동에코더의 볼트넥 레이어에서 깊이 신경망 활성화 특징의 일阶 통계를 매칭하기 위해 최적 운반 이론을 사용하여 빠르고 강력한 텍스처 합성 및 스타일 전이 방법을 제안한다. 반복적으로 슬라이스된 히스토그램 매칭을 통해 N차원 확률 밀도 함수를 정렬함으로써, 역전파 없이도 고품질 결과를 달성하며, 이는 인터랙티브 성능과 스타일 전이, 텍스처 혼합, 사용자 지도형 합성의 통합 처리를 가능하게 한다.

ABSTRACT

This paper presents a light-weight, high-quality texture synthesis algorithm that easily generalizes to other applications such as style transfer and texture mixing. We represent texture features through the deep neural activation vectors within the bottleneck layer of an auto-encoder and frame the texture synthesis problem as optimal transport between the activation values of the image being synthesized and those of an exemplar texture. To find this optimal transport mapping, we utilize an N-dimensional probability density function (PDF) transfer process that iterates over multiple random rotations of the PDF basis and matches the 1D marginal distributions across each dimension. This achieves quality and flexibility on par with expensive back-propagation based neural texture synthesis methods, but with the potential of achieving interactive rates. We demonstrate that first order statistics offer a more robust representation for texture than the second order statistics that are used today. We propose an extension of this algorithm that reduces the dimensionality of the neural feature space. We utilize a multi-scale coarse-to-fine synthesis pyramid to capture and preserve larger image features; unify color and style transfer under one framework; and further augment this system with a novel masking scheme that re-samples and re-weights the feature distribution for user-guided texture painting and targeted style transfer.

연구 동기 및 목표

• 역전파 기반 신경 텍스처 합성의 한계를 해결할 것—이들은 느리고 실시간 사용에 비실용적이다.
• 기존 방법에서 두 번째 차수 통계(예: 그람 행렬)에 의존하는 문제를 해결할 것—이들은 덜 강력하고 구조적 텍스처 특징을 유지하지 못한다.
• 스타일 전이, 텍스처 혼합, 역 텍스처 합성 등의 다양한 텍스처 합성 작업에 일반화 가능한 통합 프레임워크를 개발할 것.
• 특징 분포를 직접 수정하는 새로운 마스크링 및 재가중 기법을 통해 사용자 지도형 텍스처 합성을 가능하게 할 것.
• 최적 운반을 통해 특징 공간에서 직접 작동함으로써 최소한의 계산 비용으로 높은 시각적 품질을 달성할 것.

제안 방법

• 사전 훈련된 자동에코더의 볼트넥 레이어에서 텍스처 특징을 깊이 활성화 벡터로 표현함으로써, 맞춤형 훈련이 필요 없도록 한다.
• 노이즈 이미지의 특징 분포와 예시 텍스처의 분포 사이의 최적 운반 문제로 텍스처 합성을 설정한다.
• 반복적인 랜덤 회전 기반 슬라이싱을 통해 다차원 확률 밀도 함수(PDF) 변환 구현을 통해 차원 간 1차원 근사 분포를 매칭한다.
• 특징 차원 수를 줄이면서도 필수적인 텍스처 통계를 유지하기 위해 주성분 분석(PCA)을 사용해 처리 속도를 가속화한다.
• 대규모 이미지 구조를 유지하고 인지적 품질을 향상시키기 위해 다중 척도의 코arse-to-fine 합성 피라미드를 구성한다.
• 사용자가 그린 마스크를 기반으로 특징 분포를 재표본화하고 재가중하는 마스크링 기법을 도입하여, 지도형 텍스처 페인팅과 타겟 스타일 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그람 행렬과 같은 두 번째 차수 통계보다 깊이 신경망 특징의 일차 통계가 텍스처 합성에 더 강력하고 효과적인 표현을 제공할 수 있는가?
• RQ2 특징 분포 간 최적 운반을 통해 역전파 또는 미세조정 없이도 고품질 텍스처 합성을 달성할 수 있는가?
• RQ3 최적 운반 기반 단일 통합 프레임워크가 스타일 전이, 텍스처 혼합, 역 합성 등 다양한 텍스처 합성 작업에 일반화될 수 있는가?
• RQ4 특징 분포 조작을 통해 합성 과정에 사용자 제어를 효과적으로 통합할 수 있는가?
• RQ5 제안된 방법이 고비용 최적화 기반 접근 방식과 비교해도 높은 시각적 품질을 유지하면서 인터랙티브 성능을 달성할 수 있는가?

주요 결과

• PCA를 사용할 경우 1024×1024 이미지에 대해 제안된 방법은 23초 내로 고품질 텍스처 합성을 달성했으며, 이는 역전파 기반 방법의 수십 분에 비해 훨씬 빠르다.
• WCT 및 기타 그람 행렬 기반 방법과의 비교에서, 일차 통계가 구조적 텍스처 특징을 더 잘 유지하고 블렌딩 아티팩트를 줄이는 데 효과적이라는 게 입증되었다.
• 최적 운반 프레임워크는 스타일과 색상 전이를 하나의 알고리즘으로 통합하여 색상과 스타일 요소를 별도로 다룰 필요 없이 처리할 수 있다.
• 최적 운반을 통한 텍스처 혼합은 기존 방법보다 더 균일하고 인지적으로 더 설득력 있는 보간을 생성한다.
• 특징 재표본화 및 재가중을 통한 사용자 지도형 합성은 최소한의 알고리즘 변경으로도 텍스처 배치 및 스타일 적용에 정밀한 제어를 가능하게 한다.
• 다양한 슬라이스를 통해 특징 분포의 더 세밀한 시각을 포착함으로써, WCT에서 흔히 발생하는 특징 흐림 및 블렌딩 아티팩트를 줄였다.