[논문 리뷰] Demystifying Neural Style Transfer

Yanghao Li, Naiyan Wang외 2명|arXiv (Cornell University)|2017. 01. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 88

한 줄 요약

이 논문은 신경 스타일 전이(NST)를 도메인 적응 문제로 재정의하고, Gram 행렬 매칭이 특정 MMD를 최소화하는 것과 동등하다는 것을 보이며, 대안적 분포 정렬 방법을 탐구한다.

ABSTRACT

Neural Style Transfer has recently demonstrated very exciting results which catches eyes in both academia and industry. Despite the amazing results, the principle of neural style transfer, especially why the Gram matrices could represent style remains unclear. In this paper, we propose a novel interpretation of neural style transfer by treating it as a domain adaptation problem. Specifically, we theoretically show that matching the Gram matrices of feature maps is equivalent to minimize the Maximum Mean Discrepancy (MMD) with the second order polynomial kernel. Thus, we argue that the essence of neural style transfer is to match the feature distributions between the style images and the generated images. To further support our standpoint, we experiment with several other distribution alignment methods, and achieve appealing results. We believe this novel interpretation connects these two important research fields, and could enlighten future researches.

연구 동기 및 목표

• 왜 Gram 행렬이 신경 스타일 전이에서 스타일을 포착하는 이유를 이해하도록 동기를 부여한다.
• 신경 스타일 전이와 최대 평균 차이(MMD) 사이의 이론적 연결 고리를 제안한다.
• Gram 매트릭스 매칭을 넘어 스타일 전이를 위한 대체 분포 정렬 방법을 탐구한다.
• 다른 MMD 기반 및 BN 기반 스타일 전이 접근법의 실증적 타당성을 입증한다.

제안 방법

• Gram 행렬 매칭이 2차 다항 커널을 갖는 MMD와 동등하다는 것을 보인다.
• 스타일 손실을 특징 분포 간의 MMD 기반 차이로 표현하도록 재정의한다.
• MMD에서 서로 다른 커널(선형, 다항, 가우시안)을 적용하고 BN 통계를 매칭하는 방식으로 스타일 전이를 확장한다.
• 특징 맵의 각 위치를 샘플로 취급하여 특징 맵 간의 분포 정렬을 가능하게 한다.
• VGG-19와 표준 내용 손실/스타일 손실을 사용하고 반복적 최적화를 통해 구현 세부 정보를 제공한다.
• 다른 NST 방법들의 융합을 시연하여 스타일을 혼합한다.

실험 결과

연구 질문

• RQ1 NST에서의 Gram 매트릭스 매칭은 일종의 MMD에 해당하는가?
• RQ2 신경 스타일 전이는 콘텐츠 이미지와 스타일 이미지 간의 분포 정렬 문제로 어떻게 해석될 수 있는가?
• RQ3 다른 커널이나 BN 통계와 같은 대체 분포 정렬 방법이 그럴듯한 스타일 전이 결과를 낳는가?
• RQ4 스타일 전이에 서로 다른 MMD 커널을 사용할 때의 복잡도와 스타일링의 트레이드오프는 무엇인가?
• RQ5 여러 스타일 전이 방법을 융합하여 혼합된 스타일링을 생성할 수 있는가?

주요 결과

• NST에서 Gram 매트릭스 매칭은 2차 다항 커널을 갖는 MMD를 최소화하는 것으로 재구성될 수 있다.
• 스타일 정보는 CNN 계층의 특징 분포로 표현되며, NST는 분포 정렬 과정이다.
• 선형/다항/가우시안 MMD(및 BN 통계)를 포함한 다양한 분포 정렬 방법이 시각적으로 그럴듯한 스타일 전이를 만들어 낸다.
• 선형 커널 MMD는 계산 복잡도가 낮으면서 유사한 결과를 얻는다.
• BN 통계 매칭은 채널별 통계를 정렬하는 대안적이고 간단한 스타일 손실을 제공한다.
• 다양한 NST 방법의 융합은 방법 간 보간으로 스타일을 혼합할 수 있다.