[논문 리뷰] Universal Style Transfer via Feature Transforms

Yijun Li, Fang Chen외 4명|arXiv (Cornell University)|2017. 05. 23.

Generative Adversarial Networks and Image Synthesis인용 수 348

한 줄 요약

이 논문은 학습 없이도 보편적 스타일 전송을 가능하게 하는 방법으로, 딥 피처에 대한 화씰화(whitening) 및 색화 변환(WCT)을 사용해 콘텐츠를 임의의 스타일에 맞추며, unseen 스타일에 대해 단일 패스 스타일링을 가능하게 한다. 또한 다단계의 거칠게-세밀한(style) 스타일링 파이프라인을 도입하고 이 접근을 질감 합성(texture synthesis)에 적용한다.

ABSTRACT

Universal style transfer aims to transfer arbitrary visual styles to content images. Existing feed-forward based methods, while enjoying the inference efficiency, are mainly limited by inability of generalizing to unseen styles or compromised visual quality. In this paper, we present a simple yet effective method that tackles these limitations without training on any pre-defined styles. The key ingredient of our method is a pair of feature transforms, whitening and coloring, that are embedded to an image reconstruction network. The whitening and coloring transforms reflect a direct matching of feature covariance of the content image to a given style image, which shares similar spirits with the optimization of Gram matrix based cost in neural style transfer. We demonstrate the effectiveness of our algorithm by generating high-quality stylized images with comparisons to a number of recent methods. We also analyze our method by visualizing the whitened features and synthesizing textures via simple feature coloring.

연구 동기 및 목표

• 사전 정의된 스타일에 대해 학습 없이도 임의의 보이지 않는 스타일에 일반화되는 보편적 스타일 전송의 동기를 제시한다.
• 고정된 인코더-디코더 네트워크와 함께 피쳐 트랜스폼을 통합하는 간단하고 효율적인 피드포워드 파이프라인을 제안한다.
• WCT를 통해 피쳐 공분산을 매칭하는 것이 콘텐츠 구조를 보존하면서 스타일 통계를 효과적으로 전달한다는 것을 보인다.
• 스타일링 강도에 대한 사용자 제어를 가능하게 하고 스타일의 공간적/확률적 변화를 지원한다

제안 방법

• VGG-19를 고정 인코더로 사용하고 Relu_X_1 피처를 RGB로 역변환하는 다섯 개의 대칭 디코더를 훈련한다.
• 선택된 층에서 콘텐츠 피처 f_c와 스타일 피처 f_s를 추출한 후, f_c에 대해 화씰화를 적용하여 상관관계를 제거하고, 그 후 스타일 피처의 상관관계를 부과하는 컬러링을 적용한다(WCT).
• 피처를 중심화하고 공분산의 고유 분해를 수행한 뒤, f_hat_c = E_c D_c^{-1/2} E_c^T f_c (화이트닝)로 변환한다.
• 컬러링을 적용하여: f_hat_cs = E_s D_s^{1/2} E_s^T f_hat_c 이고, 스타일 평균 m_s를 더해 변환된 피처를 얻는다.
• 선택적으로 알파를 통해 변환된 피처를 원본 콘텐츠 피처와 혼합하여 스타일링 강도를 제어한다.
• Relu_5_1에서 Relu_1_1 피처에 걸쳐 순차적으로 WCT를 적용하여 거칠게-세밀한 다중 수준 스타일링으로 확장한다.
• 스타일 이미지 크기, 가중치(스타일링-콘텐츠 균형), 및 영역별 스타일링을 위한 공간 마스크를 위한 사용자 제어를 제공한다.
• 무작위/노이즈 콘텐츠를 사용하고 필요 시 질감 간의 블렌딩을 허용하여 질감 합성을 시연한다

실험 결과

연구 질문

• RQ1 사전 정의된 스타일에 대해 학습 없이 피쳐 통계만 매칭하여 보편적 스타일 전송을 달성할 수 있는가?
• RQ2 화이트닝 및 컬러링 트랜스폼(WCT)이 콘텐츠 구조를 보존하면서 임의의 스타일 통계를 효과적으로 전달하는가?
• RQ3 다중 수준의 거칠고-섬세한(WCT)의 적용이 단일 수준 전송에 비해 스타일링 품질을 개선하는가?
• RQ4 제안된 방법이 품질, 효율성, 미지의 스타일에 대한 일반화 측면에서 기존 방법과 비교했을 때 어떤 차이가 있는가?
• RQ5 이 접근법을 질감 합성으로 확장하고 스타일 보간을 가능하게 할 수 있는가?

주요 결과

• 이 방법은 스타일당 학습 없이 임의의 스타일에 대한 스타일 전송을 달성하고 고품질 결과를 제공한다.
• 단일 수준의 WCT가 스타일 통계를 효과적으로 전달할 수 있으며, 다중 수준 스타일링이 시각적 품질을 향상시킨다.
• 다른 방법과 비교하여 제안된 접근은 스타일의 공분산 거리(L_s)가 더 작고, 사용자의 선호도가 연구에서 더 높게 나타난다.
• 제시된 설정에서 256×256 이미지에 대해 0.83초로 속도가 경쟁력이 있으며, 학습 없이 일반화를 가능하게 한다.
• 깊은 피처 공간에서 작동하여 질감 합성과 질감 간 보간을 가능하게 한다.
• 정성적 및 정량적 평가에서 제안된 접근이 단순한 색상 전송을 넘어 중요한 스타일 패턴을 포착한다