[논문 리뷰] A Closed-form Solution to Universal Style Transfer

Ming Lu, Hao Zhao외 4명|arXiv (Cornell University)|2019. 06. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 10

한 줄 요약

이 논문은 특성 변환을 최적 운반 문제로 공식화함으로써 유니버설 스타일 전이를 위한 폐쇄형 해법인 최적 스타일 전이(OST)를 제안한다. 최적 운반 프레임워크에 콘텐츠 손실 최소화를 통합함으로써, 반복적 또는 학습 기반 방법에 비해 더 나은 구조적 유지 및 시각적으로 매력적인 결과를 얻을 수 있으며, 반복적이지 않고 이론적으로 타당한 해법을 제공한다.

ABSTRACT

Universal style transfer tries to explicitly minimize the losses in feature space, thus it does not require training on any pre-defined styles. It usually uses different layers of VGG network as the encoders and trains several decoders to invert the features into images. Therefore, the effect of style transfer is achieved by feature transform. Although plenty of methods have been proposed, a theoretical analysis of feature transform is still missing. In this paper, we first propose a novel interpretation by treating it as the optimal transport problem. Then, we demonstrate the relations of our formulation with former works like Adaptive Instance Normalization (AdaIN) and Whitening and Coloring Transform (WCT). Finally, we derive a closed-form solution named Optimal Style Transfer (OST) under our formulation by additionally considering the content loss of Gatys. Comparatively, our solution can preserve better structure and achieve visually pleasing results. It is simple yet effective and we demonstrate its advantages both quantitatively and qualitatively. Besides, we hope our theoretical analysis can inspire future works in neural style transfer. Code is available at https://github.com/lu-m13/OptimalStyleTransfer.

연구 동기 및 목표

• 유니버설 스타일 전이, 특히 특성 변환에서 이론적 분석의 부족을 해결하기 위해.
• AdaIN과 WCT와 같은 기존 방법들을 공통의 최적 운반 프레임워크 아래 통합하기 위해.
• 스타일 손실(Gatys)과 콘텐츠 손실을 모두 최소화하는 폐쇄형 해법을 유도하기 위해.
• 특정 스타일에 대한 사전 훈련 없이도 이론적으로 타당하고 반복적이지 않은 유니버설 스타일 전이 방법을 제공하기 위해.
• 엄밀한 이론적 공식화를 통해 향후 신경망 스타일 전이 연구를 자극하기 위해.

제안 방법

• 콘텐츠 및 스타일 특성의 다변량 정규분포 간의 최적 운반 문제로 유니버설 스타일 전이를 공식화한다.
• 특성 분포 간 선형 변환을 가정하고, 이 가정 하에 폐쇄형 해법을 유도한다.
• 콘텐츠 손실 최소화(Gatys)를 최적 운반 프레임워크에 통합하여 구조적 유지 보장을 확보한다.
• 스타일 전이와 콘텐츠 유지의 균형을 이루는 고유한 폐쇄형 해법으로 OST를 도출한다.
• 에ncoder로 다중 스케일의 VGG 특징을 사용하고, 변환된 특징을 이미지로 복원하기 위해 디코더를 훈련시킨다.
• 최적 운반 제약 조건을 통해 직교 행렬 정규화를 암묵적으로 적용하여 유일성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 유니버설 스타일 전이의 특성 변환을 히우리스틱 또는 학습 기반 접근을 넘어서 이론적으로 형식화할 수 있는가?
• RQ2 AdaIN과 WCT와 같은 기존 방법들이 통합된 최적 운반 프레임워크와의 수학적 관계는 무엇인가?
• RQ3 스타일 손실과 콘텐츠 손실을 모두 최소화하는 폐쇄형 해법을 유니버설 스타일 전이에 도출할 수 있는가?
• RQ4 최적 운반 공식화에 콘텐츠 손실을 통합하면 기존 방법보다 더 나은 구조적 유지가 이루어지는가?
• RQ5 실제 적용에서 다변량 정규분포 가정을 초월할 경우 최적 운반 공식화의 일반화 정도는 어느 정도인가?

주요 결과

• 사용자 연구에서 OST는 WCT(2.67)와 AdaIN(2.00)보다 낮은 평균 콘텐츠 손실(1.05)을 기록하여 더 나은 구조적 유지가 이루어졌음을 시사한다.
• 모든 비교 방법 중에서 가장 높은 평균 사용자 평가 점수(3.07)를 기록하여 뛰어난 시각적 품질을 입증한다.
• 스타일 손실은 WCT(15.85 vs. 15.9)와 유사하게 유지하면서도 콘텐츠 손실을 크게 감소시켜 스타일과 콘텐츠 간의 균형이 향상되었음을 보여준다.
• 다양한 콘텐츠 및 스타일 쌍에 대해 잘 일반화되며, α=1일 때의 그림 6에서 잡음 없이 매력적인 결과를 생성함을 확인할 수 있다.
• 스타일 간 선형 보간(그림 7)은 부드러운 전환을 보이며, 이는 방법의 안정성과 일관성을 확인한다.
• 개선에도 불구하고, 프레임 단위의 비디오 스타일 전이는 여전히 시간적 왜곡이 발생하여 시간적 일관성의 한계를 보여준다.