[논문 리뷰] Wasserstein Style Transfer

Youssef Mroueh|arXiv (Cornell University)|2019. 05. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 인코더/디코더 프레임워크 내에서 가우시안 최적 운반 이론을 사용한 워샤르스타일 전이 방법을 제안하며, 특징 공간 내 가우시안 측도의 워샤르 바리센터를 통한 스타일 혼합 및 보간을 실현한다. 이 방법은 부드럽고 기하학적으로 의미 있는 스타일 보간을 가능하게 하며, 워샤르와 파이셔-레이오 지오데식 거리 측도의 선택에 따라 성능이 달라지며, 기존의 AdaIN과 같은 기준 방법보다 더 정교한 스타일 세부 정보를 잘 포착한다.

ABSTRACT

We propose Gaussian optimal transport for Image style transfer in an Encoder/Decoder framework. Optimal transport for Gaussian measures has closed forms Monge mappings from source to target distributions. Moreover interpolates between a content and a style image can be seen as geodesics in the Wasserstein Geometry. Using this insight, we show how to mix different target styles , using Wasserstein barycenter of Gaussian measures. Since Gaussians are closed under Wasserstein barycenter, this allows us a simple style transfer and style mixing and interpolation. Moreover we show how mixing different styles can be achieved using other geodesic metrics between gaussians such as the Fisher Rao metric, while the transport of the content to the new interpolate style is still performed with Gaussian OT maps. Our simple methodology allows to generate new stylized content interpolating between many artistic styles. The metric used in the interpolation results in different stylizations.

연구 동기 및 목표

• 기존 스타일 전이 방법이 단일 스타일 전이에 국한되거나 보간 과정에서 미세한 스타일 세부 정보를 포착하지 못하는 한계를 해결하기 위해.
• 특징 분포가 가우시안임을 가정할 때, 일반적인 정규화 레이어(예: IN, AdaIN, WCT)와 최적 운반 지도 간의 관계를 수식적으로 정립하기 위해.
• 워샤르 가우시안 측도의 기하학적 공간 내 비선형 스타일 보간을 지오데식 거리 측도를 통해 탐색하여 특징 공간 내 선형 보간보다 향상된 성능을 달성하기 위해.
• 공분산에 대한 다양한 기저 거리 측도(예: 워샤르, 파이셔-레이오)가 혼합 예술 스타일의 품질과 특성에 미치는 영향을 조사하기 위해.
• 가우시안 최적 운반 이론이 반복 최적화가 아닌 폐쇄형 해를 제공함으로써 스타일 전이에서 빠른 추론과 고품질 결과를 가능하게 하는 효율적인 대안임을 보여주기 위해.

제안 방법

• 이미지를 깊은 CNN 특징 공간으로 매핑하고 다시 복원하기 위해 인코더/디코더 프레임워크를 사용하며, 공간적 특징 분포를 경험적 측도로 간주한다.
• 특징 분포가 약간의 가우시안에 가까운 것으로 가정할 때, 콘텐츠에서 타겟 스타일 분포로의 폐쇄형 몽게 지도를 계산하기 위해 가우시안 최적 운반(GOT)을 적용한다.
• 특징 공간 내에서 다수의 스타일 이미지를 보간함으로써 새로운 혼합 스타일을 정의하기 위해 가우시안 측도의 워샤르 바리센터를 활용한다.
• 워샤르 기하학의 가우시안 측도 공간 내에서 다른 지오데식 거리 측도(예: 파이셔-레이오 거리)를 적용하여 가우시안 분포 공간 내 다른 보간 경로를 탐색한다.
• 다중 해상도에서 운반 지도를 적용하고 디코딩하는 방식으로 코arse-to-fine 스타일 전이를 수행하며, 각 수준에서 콘텐츠에서 보간된 스타일로의 운반 지도를 사용한다.
• 가우시안 측도가 워샤르 바리센터에 대해 닫혀 있음을 활용하여 최적화 없이도 정확하고 효율적인 혼합 스타일 계산이 가능하다.

실험 결과

연구 질문

• RQ1 가우시안 최적 운반 지도가 깊은 특징 공간 내에서 효율적이고 폐쇄형 해를 가진 스타일 전이를 정의하는 데 사용될 수 있는가?
• RQ2 가우시안 측도의 워샤르 바리센터를 사용함으로써 다수의 예술 스타일 간에 의미 있고 시각적으로 일관된 스타일 혼합이 어떻게 가능해지는가?
• RQ3 지오데식 거리 측도의 선택(예: 워샤르 대비 파이셔-레이오)이 보간된 스타일의 시각적 품질과 특성에 어떤 영향을 미치는가?
• RQ4 IN, CIN, AdaIN, WCT 등의 일반 정규화 레이어가 가우시안 가정 하에 최적 운반 지도를 얼마나 잘 근사하는가?
• RQ5 가우시안의 워샤르 공간 내 기하학적 보간이 복잡한 스타일 세부 정보를 포착하는 데 있어 선형 또는 대각선 근사보다 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 폐쇄형 가우시안 최적 운반 지도를 사용하여 다수의 예술 스타일 간에 부드러운 보간이 가능한 고품질의 스타일 전이를 달성한다.
• 워샤르 바리센터 보간은 스타일 간 전이가 더 부드럽지만, 파이셔-레이오 바리센터는 텍스처의 선 구조와 색상 변화를 더 잘 유지한다.
• 특히 복잡한 질감과 색상 기울기에서 미세한 스타일 세부 정보를 포착하는 데 있어 AdaIN 기반 기준 방법보다 성능이 뛰어나다.
• 워샤르 및 파이셔-레이오 지오데식 보간은 서로 다른 시각적 특성을 가지지만 일관된 새로운 스타일을 생성하며, 기저 거리 측도가 스타일 전이에 미치는 영향을 보여준다.
• IN, CIN, AdaIN, WCT 등의 정규화 레이어가 가우시안 최적 운반 지도를 근사함을 입증하여 이들의 행동에 새로운 이론적 해석을 제공한다.
• 이 프레임워크는 다중 스타일 보간이 가능한 빠른 프로세싱 기반의 전방향 스타일 전이를 가능하게 하며, 기존 방법 대비 스타일 혼합 품질에서 최신 기술 수준의 성능을 달성한다.