[논문 리뷰] Deep Photo Style Transfer

Fujun Luan, Sylvain Paris외 2명|arXiv (Cornell University)|2017. 03. 22.

Image Enhancement Techniques참고 문헌 16인용 수 94

한 줄 요약

딥 러닝 접근법을 이용한 포토리얼리스틱 스타일 전송으로 콘텐츠를 보존하면서 참조 이미지의 스타일을 전이하고, 로컬 색상-아핀 제약과 시맨틱 세분화를 사용합니다. 페인팅 같은 왜곡을 피하고 다양한 시나리오에서 포토리얼리즘을 달성합니다.

ABSTRACT

This paper introduces a deep-learning approach to photographic style transfer that handles a large variety of image content while faithfully transferring the reference style. Our approach builds upon the recent work on painterly transfer that separates style from the content of an image by considering different layers of a neural network. However, as is, this approach is not suitable for photorealistic style transfer. Even when both the input and reference images are photographs, the output still exhibits distortions reminiscent of a painting. Our contribution is to constrain the transformation from the input to the output to be locally affine in colorspace, and to express this constraint as a custom fully differentiable energy term. We show that this approach successfully suppresses distortion and yields satisfying photorealistic style transfers in a broad variety of scenarios, including transfer of the time of day, weather, season, and artistic edits.

연구 동기 및 목표

• 다양한 콘텐츠에 걸친 포토리얼리스틱 스타일 전송 다루기.
• 강한 로컬 색상 변화 가능하게 하면서 공간 왜곡 방지.
• 시맨틱 인식을 통해 콘텐츠-매칭 불일치를 완화.
• 신경 스타일 손실과 포토리얼리즘 정규화의 결합.
• 주야 변화, 날씨, 계절, 편집 등 광범위한 적용 가능성 입증.

제안 방법

• Matting Laplacian를 이용해 Locally affine color transformations를 강제하는 포토리얼리즘 정규화를 Neural Style에 확장.
• 시맨틱 세분화를 포함하는 augmented 스타일 손실을 도입해 콘텐츠 누출을 방지.
• 콘텐츠 손실, augmented 스타일 손실, 포토리얼리즘 정규화를 하나의 최적화 목표로 결합.
• 특정 계층 선택과 함께 사전에 학습된 VGG-19 특징을 사용하여 콘텐츠와 스타일 항 정의 (콘텐츠; conv4_2 — content; conv1_1, conv2_1, conv3_1, conv4_1, conv5_1 — style).
• Neural Style 출력에서 시작하는 두 단계 최적화와 포토리얼리즘 항에 대해 CUDA-가속 그래디언트 사용.
• DilatedNet을 통한 시맨틱 세분화 마스크를 사용하여 스타일 전송을 시맨틱적으로 대응하는 영역으로 제약.

실험 결과

연구 질문

• RQ1 포토리얼리스틱 이미지 스타일 전송이 기하학적 구조를 보존하면서 참조 스타일을 전이할 수 있는가?
• RQ2 Matting Laplacian를 통해 로컬에서 색상 변환을 제약하면 신경 스타일 전송에서 일반적으로 나타나는 왜곡을 방지할 수 있는가?
• RQ3 시맨틱 레이블링이 스타일 전송 중 콘텐츠-매칭 불일치와 누출을 어떻게 줄일 수 있는가?
• RQ4 장면 간 스타일 충실도와 포토리얼리즘의 균형을 맞추는 실용적 매개변수 설정은 무엇인가?
• RQ5 야간, 날씨, 계절 변화 및 예술적 편집과 같은 응용에서 이 접근법이 효과적인가?

주요 결과

• 본 방법은 페인팅 같은 왜곡을 억제하면서 스타일을 신뢰성 있게 전이한다.
• 시맨틱 마스크를 포함한 augmented 스타일 손실은 시맨틱 누출을 방지하고 현실감을 향상시킨다.
• Matting Laplacian을 이용한 포토리얼리즘 정규화는 로컬 색상 변환을 강제한다(λ around 10^4 yields good results).
• Neural Style 초기화 후 포토리얼리즘 정규화를 통한 2단계 최적화가 직접 최적화보다 더 나은 결과를 낳는다.
• Neural Style 및 CNNMRF와 비교하여 제안 방법은 왜곡을 줄이고 시맨틱하게 일관된 방식으로 질감을 보존한다.
• 사용자 연구에서 우리 방법은 포토리얼리즘과 스타일 충실도를 달성한다고 보였으며, 글로벌 방법들에 비해 참조 스타일에 가장 충실하다고 평가한 참여자 비율이 약 80% 이상이었다.
• 결과물은 이미지당 NVIDIA Titan X GPU에서 3–5분 내에 생성될 수 있다.