[논문 리뷰] Controlling Perceptual Factors in Neural Style Transfer

Leon A. Gatys, Alexander S. Ecker외 3명|arXiv (Cornell University)|2016. 11. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 11

한 줄 요약

이 논문은 스타일을 공간 영역, 색상/휘도, 공간 스케일로 분해함으로써 신경 스타일 전송에 직관적이고 인지적으로 의미 있는 제어를 도입한다. 공간 마스크, 휘도 전용 스타일 전송, 다중 스케일 특징 최적화를 통해 손실 함수를 수정함으로써, 일반적인 실패 케이스를 완화하고 여러 원본에서 스타일을 조합할 수 있는 고품질의 제어 가능한 스타일 전환을 가능하게 한다. 이로 인해 새로운 인지적으로 매력적인 결과를 도출할 수 있다.

ABSTRACT

Neural Style Transfer has shown very exciting results enabling new forms of image manipulation. Here we extend the existing method to introduce control over spatial location, colour information and across spatial scale. We demonstrate how this enhances the method by allowing high-resolution controlled stylisation and helps to alleviate common failure cases such as applying ground textures to sky regions. Furthermore, by decomposing style into these perceptual factors we enable the combination of style information from multiple sources to generate new, perceptually appealing styles from existing ones. We also describe how these methods can be used to more efficiently produce large size, high-quality stylisation. Finally we show how the introduced control measures can be applied in recent methods for Fast Neural Style Transfer.

연구 동기 및 목표

• 신경 스타일 전송에서 스타일 표현에 복잡하고 비직관적인 CNN 통계에 의존하는 바탕으로 인해 직관적 제어의 부족을 해결하기 위해.
• 공간 영역, 색상/휘도, 공간 스케일과 같은 인지적으로 의미 있는 요소로 이미지 스타일을 분해하기 위해.
• 코arse-to-fine 최적화 전략과 함께 고해상도, 효율적인 스타일 전환을 가능하게 하여 빠른 신경 스타일 전송에 적용하기 위해.
• 다양한 스타일 원본을 인지적으로 해석 가능한 방식으로 조합하여 새로운, 매력적인 스타일을 생성하기 위해.
• 예를 들어 하늘 영역에 지면 텍스처를 적용하는 등의 아티팩트를 방지함으로써 복원력을 향상시키기 위해.

제안 방법

• 특정 이미지 영역에 스타일 손실을 조건화하는 이진 가이던스 마스크를 도입하여 공간 제어를 구현함으로써, 영역별로 다른 스타일을 적용할 수 있도록 한다.
• 콘텐츠 이미지와 스타일 이미지의 휘도 채널만 손실 함수에 사용함으로써 휘도 전용 스타일 전송을 적용하여 원본 이미지의 색상을 유지한다.
• 다중 특징 맵 스케일(예: 굵은 스케일과 미세 스케일)에서 스타일 손실을 계산하고 각 스케일에 대해 별도의 그램 행렬을 사용함으로써 스케일 제어를 구현한다.
• 고해상도 스타일 전환의 속도를 높이기 위해 코arse-to-fine 최적화 전략을 사용하여 최적화 시간을 약 2.5배 감소시킨다.
• 가이던스 채널을 사용하여 다중 영역 또는 다중 스케일 스타일 이미지로 피드포워드 네트워크를 훈련시킴으로써 이 방법을 빠른 신경 스타일 전송에 적응시킨다.
• 학습 중에 특정 공간 영역에 스타일 통계를 국소화하기 위해 가이드드 그램 행렬(식 7)을 활용한다.

실험 결과

연구 질문

• RQ1 공간 위치, 색상, 스케일과 같은 인지적 요소가 신경 스타일 전송에서 독립적으로 제어 가능한가? 이를 통해 스타일 전환 품질을 향상시킬 수 있는가?
• RQ2 스타일을 공간, 색채, 스케일 성분으로 분해하여 더 해석 가능하고 민감한 스타일 전환을 가능하게 할 수 있는가?
• RQ3 이러한 제어 기법이 최적화 기반 및 빠른 피드포워드 스타일 전송 방법 양쪽에 모두 적용 가능한가?
• RQ4 이러한 제어를 사용해 여러 원본에서 스타일을 조합하면 새로운, 인지적으로 매력적인 결과를 도출할 수 있는가?
• RQ5 이 방법은 하늘 영역에 지면 텍스처가 적용되는 등의 일반적인 실패 케이스를 줄일 수 있는가?

주요 결과

• 코arse-to-fine 정밀 조정을 통해 약 2.5배의 최적화 시간 감소를 달성하면서도 고해상도 스타일 전환을 성공적으로 수행하였다.
• 공간 제어를 통해 서로 다른 스타일을 서로 다른 영역에 적용할 수 있었으며, 예를 들어 별도의 스타일 이미지에서 추출한 텍스처를 하늘과 지면에 각각 적용할 수 있었다.
• 휘도 전용 스타일 전송을 통해 원본 콘텐츠 이미지의 색상 채널을 유지하면서도 스타일화된 휘도를 결합함으로써 더 자연스러운 결과를 도출하였다.
• 스케일 제어를 통해 미세 구조와 굵은 구조를 별도로 스타일화함으로써 출력의 구조적 일관성을 향상시켰다.
• 여러 스타일 원본을 인지적으로 의미 있는 방식으로 조합할 수 있었으며, 새로운 시각적으로 매력적인 스타일을 생성하는 데 기여하였다.
• 이 방법은 빠른 신경 스타일 전송과도 호환되어, 가이던스 마스크를 활용한 훈련된 피드포워드 네트워크를 사용해 실시간으로 공간적으로 변하는 스타일 전환을 가능하게 하였다.