[논문 리뷰] Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses

Eric Risser, Pierre Wilmot외 1명|arXiv (Cornell University)|2017. 01. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 201

한 줄 요약

이 논문은 히스토그램 손실을 도입하여 신경 텍스처 합성 및 스타일 전송을 안정화하고, 다중 스케일 프레임워크 내에서 더 나은 품질, 더 빠른 수렴 및 새로운 사용자 제어를 가능하게 하며, 자동 파라미터 조정까지 제공합니다.

ABSTRACT

Recently, methods have been proposed that perform texture synthesis and style transfer by using convolutional neural networks (e.g. Gatys et al. [2015,2016]). These methods are exciting because they can in some cases create results with state-of-the-art quality. However, in this paper, we show these methods also have limitations in texture quality, stability, requisite parameter tuning, and lack of user controls. This paper presents a multiscale synthesis pipeline based on convolutional neural networks that ameliorates these issues. We first give a mathematical explanation of the source of instabilities in many previous approaches. We then improve these instabilities by using histogram losses to synthesize textures that better statistically match the exemplar. We also show how to integrate localized style losses in our multiscale framework. These losses can improve the quality of large features, improve the separation of content and style, and offer artistic controls such as paint by numbers. We demonstrate that our approach offers improved quality, convergence in fewer iterations, and more stability over the optimization.

연구 동기 및 목표

• Gram-매트릭스 기반 손실에서 발생하는 신경 텍스처 합성 및 스타일 전송의 불안정성 및 인공적 결과를 다루는 것.
• 활성화 히스토그램 전체를 보존함으로써 합성 품질과 수렴 속도를 향상시키는 것.
• 다중 스케일 합성 프레임워크 내에서 예술적이고 공간적으로 지역화된 제어(페인트-바이-넘버) 기능을 가능하게 하는 것.
• 자동 파라미터 조정으로 이미지별 수동 매개변수 조정의 필요성을 줄이거나 제거하는 것 형식

제안 방법

• 활성 분포를 일치시키는 각 특징의 히스토그램 손실을 Gram-매트릭스 기반 손실에 보강한다.
• 품질과 안정성을 스케일 간에 개선하기 위해 다중 스케일(피라미드) 합성 프레임워크를 사용한다.
• 영역별 스타일 전송 및 질감 합성을 가능하게 하기 위해 페인트-바이-넘버 마스크를 통한 지역화 손실을 도입한다.
• 결과를 매끄럽게 하고 시각적 품질을 향상시키기 위해 총 변이(Total Variation) 손실을 포함한다.
• 손실 가중치를 최적화하는 동안 자동으로 매개변수를 조정하는 그래디언트 기반 파라미터 튜닝 체계를 개발한다.

실험 결과

연구 질문

• RQ1 히스토그램 손실을 도입하는 것이 Gram-오직 접근 방식과 비교하여 신경 텍스처 합성 및 스타일 전송의 안정성을 높이는가?
• RQ2 지역화된(페인트-바이-넘버) 손실이 품질을 해치지 않으면서 미세한 예술적 제어를 제공할 수 있는가?
• RQ3 다중 스케일 합성이 대규모 특징의 전이와 인공물 감소에 도움이 되는가?
• RQ4 자동 파라미터 튜닝이 이미지별 수동 조정을 제거하면서도 결과를 유지하거나 개선하는가?

주요 결과

• 히스토그램 손실은 불안정성과 고스트 현상을 줄이고 수렴 속도를 가속화한다.
• 지역화된 손실은 색상 및 특징 제어를 가능하게 하여 대규모 특징의 재현을 개선하고 페인트-바이-넘버 스타일 전송을 가능하게 한다.
• 다중 스케일 피라미드 합성은 거친 특징의 일치를 향상시키고 CNN 잡음 아티팩트를 줄인다.
• 자동 파라미터 튜닝은 이미지별 수동 조정을 제거하여 기본 매개변수로도 경쟁력 있는 결과를 낳는다.
• 그람 + 히스토그램 손실과 콘텐츠 및 TV 손실의 조합은 그람-전용 베이스라인보다 더 높은 품질과 더 안정적인 결과를 yield 한다.