[논문 리뷰] Preserving Color in Neural Artistic Style Transfer

Leon A. Gatys, Matthias Bethge외 2명|arXiv (Cornell University)|2016. 06. 19.

Aesthetic Perception and Analysis참고 문헌 4인용 수 128

한 줄 요약

이 노트는 신경 스타일 전송에 두 가지 간단한 색상 보존 방법을 추가합니다: 색상 히스토그램 매칭을 스타일 이미지에 적용하고 밝기만의 스타일 전송.

ABSTRACT

This note presents an extension to the neural artistic style transfer algorithm (Gatys et al.). The original algorithm transforms an image to have the style of another given image. For example, a photograph can be transformed to have the style of a famous painting. Here we address a potential shortcoming of the original method: the algorithm transfers the colors of the original painting, which can alter the appearance of the scene in undesirable ways. We describe simple linear methods for transferring style while preserving colors.

연구 동기 및 목표

• 신경 스타일 전송에서 원치 않는 색상 전송의 원인을 제시하고 해결한다.
• 스타일라이제이션 중 콘텐츠 이미지의 색상을 보존하는 실용적인 방법을 제안한다.
• 색상 정확도와 스타일링 충실도 사이의 트레이드오프를 평가한다.

제안 방법

• 색상 히스토그램 매칭: 평군과 공분산을 같게 하기 위해 선형 색상 변환(A와 b)을 사용하여 콘텐츠 이미지 통계에 맞도록 스타일 이미지의 색상을 변환한다.
• A의 두 가지 변형: Cholesky 기반과 Image Analogies 기반, 일반적으로 Image Analogies 더 선호된다.
• 스타일 전송 전에 색상을 전송하는 대신 스타일 전송 이후에 색상을 전송하는 옵션도 있으며, 일부 경우에 결과가 향상된다.
• 밝기 채널(Y)에서만 스타일 전송을 수행하고 콘텐츠의 색상 채널과 결합한다. 필요시 밝기(Y)를 먼저 히스토그램 매칭할 수 있다.

실험 결과

연구 질문

• RQ1 색상 보존이 스타일러스트의 질감을 해치지 않으면서 신경 스타일 전송의 지각적 충실도를 향상시킬 수 있는가?
• RQ2 다양한 스타일 이미지에서 더 나은 시각적 결과를 제공하는 색상 보존 접근법은 무엇인가: 사전 전송 색상 매칭 또는 밝기 전용 전송?
• RQ3 콘텐츠 색상 보존과 스타일 주도 밝기-질감 관계를 유지하는 사이의 트레이드오프는 무엇인가?

주요 결과

• 스타일 이미지에 대한 색상 히스토그램 매칭은 콘텐츠 색상을 보존할 수 있지만 모든 색상을 완벽히 일치시키지는 못할 수 있다.
• 밝기 전용 전송은 콘텐츠 색상을 정확히 보존하지만 밝기와 색상 간의 결합이 해제되어 붓놀림 정렬에 영향을 줄 수 있다.
• 사전 전송 색상 매칭은 일반적으로 색상 제약과 함께 스타일 질감을 더 충실하게 재현한다.
• 밝기 전용 전송은 최적화 차원을 감소시키지만 밝기와 색상 간의 의존성을 잃을 수 있다.