[논문 리뷰] Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks

Alex J. Champandard|arXiv (Cornell University)|2016. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 205

한 줄 요약

본 논문은 CNN 기반 스타일 전송에 의미론적 주석을 추가하여 콘텐츠 인식 제어를 가능하게 하고 품질을 향상시키며 낙서에서 예술작품으로의 변환을 가능하게 한다.

ABSTRACT

Convolutional neural networks (CNNs) have proven highly effective at image synthesis and style transfer. For most users, however, using them as tools can be a challenging task due to their unpredictable behavior that goes against common intuitions. This paper introduces a novel concept to augment such generative architectures with semantic annotations, either by manually authoring pixel labels or using existing solutions for semantic segmentation. The result is a content-aware generative algorithm that offers meaningful control over the outcome. Thus, we increase the quality of images generated by avoiding common glitches, make the results look significantly more plausible, and extend the functional range of these algorithms---whether for portraits or landscapes, etc. Applications include semantic style transfer and turning doodles with few colors into masterful paintings!

연구 동기 및 목표

• 의미 정보를 주입하여 신경망 스타일 전송의 예측 불가능성 및 아티팩트를 해결한다.
• 초상화, 풍경 등 다양한 영역에서 콘텐츠 인식 스타일 전송 및 세분화 인식 조작을 가능하게 한다.
• 패치 기반 스타일 전송에 픽셀 라벨링/의미 분할을 통합하여 그럴듯함을 향상시킨다.
• 수동으로 작성되거나 자동 생성된 의미 맵을 통해 사용자가 제어 가능한 메커니즘을 제공한다.
• 비유를 통한 의미론적 스타일 전송 및 이미지 합성을 시연한다(낙서에서 그림으로).

제안 방법

• CNN을 확장하고 의미 맵 채널 m^l을 활성화 x^l와 연결(concatenate)하며 gamma 매개변수로 가중치를 두는 것.
• 정규화된 교차상관(NCC)을 이용한 의미 인식 최근접 이웃 매칭을 갖춘 패치 기반 스타일 전송을 채택한다.
• 입력 의미 맵을 M 채널로 표현하고 특징 해상도에 맞게 다운샘플한 뒤 이를 연결하여 s^l을 형성한다.
• 의미가 보강된 특징들 간의 최근접 이웃 패치를 사용하여 스타일 손실 E_s를 계산한다. 예: E_s(s,s_s) = sum_i ||Psi_i(s) - Psi_NN(i)(s_s)||^2.
• 기존 패치 기반 구현과 호환되는 확장 아키텍처를 사용하고 최적화 동안 의미 맵을 고정될 수 있도록 허용한다.
• L-BFGS를 사용하여 목표식 E = alpha E_c + beta E_s로 최적화한다; gamma는 의미의 영향을 제어하고 beta는 스타일 강도를 제어한다.

실험 결과

연구 질문

• RQ1 의미 맵을 도입하면 의미적으로 unaware 방법에 비해 아티팩트가 감소하고 스타일 전송의 제어 가능성이 증가하는가?
• RQ2 픽셀 라벨링/의미 분할을 기존 알고리즘을 대거 개편하지 않고 패치 기반 스타일 전송에 어떻게 통합할 수 있는가?
• RQ3 스타일 가중치 beta와 의미 가중치 gamma가 콘텐츠 정확도와 스타일 충실도에 어떤 영향을 미치는가?
• RQ4 이 방법이 인물 사진과 같이 의미가 풍부한 영역(예: 머리카락, 피부, 배경)을 스타일 전송에서 보다 충실하게 다룰 수 있는가?
• RQ5 생성 과정에 의미 채널을 추가하는 것의 연산 및 메모리 영향은 무엇인가?

주요 결과

• 의미 주석은 글리치와 아티팩트를 줄여 더 그럴듯한 결과를 낳으며, 특히 인물 사진 및 의미적으로 세분화된 영역에서 그렇다.
• 의미 가중 파라미터 gamma는 주석의 제어력을 제공한다; 기본 값으로의 gamma가 약 50 정도가 의미 채널과 활성화 간 균형을 이룬다.
• 의미 맵을 사용할 때 피부 톤과 배경 색상의 이전이 향상된 인물 사진 결과를 보여준다.
• 이 방법은 기존의 패치 기반 스타일 전송 알고리즘과의 호환성을 유지하며 gamma와 beta를 조정하여 의미적/비의미적 동작 간 보간이 가능하다.
• 의미 채널로 인해 메모리와 연산이 증가한다( RGB의 경우 약 1%의 추가 메모리, 약 5%의 추가 연산; 픽셀 단위 라벨이 있을 경우 증가가 더 커진다).
• 실험의 렌더링 시간은 GTX 970 4 GB RAM에서 몇 분 범위이며 해상도에 따라 3–8 분이다.