[논문 리뷰] Adjustable Real-time Style Transfer

Mohammad Babaeizadeh, Golnaz Ghiasi|arXiv (Cornell University)|2018. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 13

한 줄 요약

이 논문은 학습 후에도 손실 가중치 파rameter를 조정하여 스타일화 결과를 사용자 정의할 수 있는 실시간 조정 가능한 스타일 전이 방법을 제안한다. 재학습 없이도 다양한 사용자 제어 결과를 달성하며, 콘텐츠와 스타일의 정밀도를 유지한다. 이 방법은 학습 가능한 어댑터 네트워크를 사용하여 특징 손실 기여도를 동적으로 조정함으로써 스타일화 강도와 스타일 분포에 대한 수동 또는 랜덤 제어를 가능하게 한다.

ABSTRACT

Artistic style transfer is the problem of synthesizing an image with content similar to a given image and style similar to another. Although recent feed-forward neural networks can generate stylized images in real-time, these models produce a single stylization given a pair of style/content images, and the user doesn't have control over the synthesized output. Moreover, the style transfer depends on the hyper-parameters of the model with varying "optimum" for different input images. Therefore, if the stylized output is not appealing to the user, she/he has to try multiple models or retrain one with different hyper-parameters to get a favorite stylization. In this paper, we address these issues by proposing a novel method which allows adjustment of crucial hyper-parameters, after the training and in real-time, through a set of manually adjustable parameters. These parameters enable the user to modify the synthesized outputs from the same pair of style/content images, in search of a favorite stylized image. Our quantitative and qualitative experiments indicate how adjusting these parameters is comparable to retraining the model with different hyper-parameters. We also demonstrate how these parameters can be randomized to generate results which are diverse but still very similar in style and content.

연구 동기 및 목표

• 실시간 스타일 전이 모델에서 사용자 제어가 부족하여 콘텐츠/스타일 쌍당 하나의 고정된 스타일 전이 결과만 생성하는 문제를 해결한다.
• 선호하는 스타일 전이를 얻기 위해 다양한 하이퍼파ram터를 가진 모델을 재학습하는 것이 비현실적인 문제를 해결한다.
• 같은 입력 쌍으로부터 다양한 스타일 전이 결과를 탐색할 수 있도록 추론 중 손실 기여도를 실시간으로 조정할 수 있도록 한다.
• 랜덤화된 파ram터 조정을 통해 일관된 스타일을 유지하면서 다양한 출력을 생성할 수 있는 메커니즘을 제공한다.
• 모델 재학습 없이 하이퍼파ram터 민감도를 분리하여 런타임 동안 손실 가중치 제어를 가능하게 한다.

제안 방법

• 주 스타일 전이 네트워크 $T$의 정규화 파ram터 $\gamma_{\boldsymbol{\alpha}}$ 및 $\beta_{\boldsymbol{\alpha}}$를 예측하기 위해 조정 가능한 파aram터 $\boldsymbol{\alpha}_c$ 및 $\boldsymbol{\alpha}_s$를 입력으로 받는 보조 네트워크 $\Lambda$를 도입한다.
• 레이어별 손실에 해당하는 $\boldsymbol{\alpha}$ 파aram터를 곱하여 스타일 및 콘텐츠 손실 계산을 수정함으로써 손실 기여도에 대한 동적 제어를 가능하게 한다.
• 손실 가중치가 $\boldsymbol{\alpha}$에 의해 조절되는 가중합을 최소화함으로써 스타일 전이 네트워크 $T$와 어댑터 네트워크 $\Lambda$를 함께 학습한다.
• 사용자 조정 가능한 $\boldsymbol{\alpha}$ 값으로 실시간 추론을 가능하게 하여 재학습 없이 다양한 스타일 전이 결과를 탐색할 수 있도록 한다.
• 런타임 시 $\boldsymbol{\alpha}$ 파aram터를 랜덤화하여 동일한 콘텐츠/스타일 쌍으로부터 다양한 출력을 생성함으로써 다양성을 향상시킨다.
• 콘텐츠 이미지에 학습된 마스크를 통해 작은 크기의 노이즈를 추가하여 스타일 전이의 공간적 다양성을 향상시킨다. 이는 출력 다양성의 추가 증가에 기여한다.

실험 결과

연구 질문

• RQ1 사용자가 모델을 재학습하지 않고도 단일 콘텐츠/스타일 쌍으로부터 다양한 고품질의 스타일 전이 결과를 달성할 수 있는가?
• RQ2 학습된 네트워크에서 런타임 손실 가중치 조정이 다른 하이퍼파aram터로 재학습한 결과와 유사한 스타일 전이를 생성할 수 있는가?
• RQ3 파aram터 랜덤화를 통해 모델이 다양한 출력을 생성하면서도 스타일 일관성을 유지할 수 있는가?
• RQ4 콘텐츠 이미지에 노이즈를 추가하면 파aram터 랜덤화와 결합하여 스타일 전이 결과의 공간적 다양성이 향상되는가?
• RQ5 제안된 방법은 다중 스타일 전이 또는 유사한 손실 기반 아키텍처를 가진 다른 비전 작업으로 확장 가능한가?

주요 결과

• 제안된 방법은 사용자 정의 파aram터 $\boldsymbol{\alpha}_c$ 및 $\boldsymbol{\alpha}_s$를 통해 실시간으로 스타일 전이 결과를 조정할 수 있으며, 이는 다른 하이퍼파aram터로 재학습한 결과와 유사한 성능을 달성한다.
• 런타임 시 $\boldsymbol{\alpha}$ 파aram터를 랜덤화하면 콘텐츠와 스타일의 일관성을 유지하면서도 다양한 스타일 전이 결과를 생성할 수 있으며, 이는 정성적 비교를 통해 입증되었다.
• 학습된 마스크를 통해 콘텐츠 이미지에 노이즈를 추가함으로써 스타일 전이 결과의 공간적 다양성이 향상되어 스타일 정밀도를 유지한 채 다양성이 증가한다.
• 스타일 파aram터에 노이즈를 추가하는 기존 베이스라인은 스타일을 유지하지 못하거나, 학습 시점에 노이즈를 도입할 경우 다양성이 감소하는 경향이 있어 제안된 방법이 더 우수하다.
• 정성적 비교 결과, 제안된 방법은 StyleNet [32]보다 더 다양한 스타일 전이 결과를 생성하며, 단지 미세한 디테일의 차이가 아니라 전반적인 스타일 전이 수준에서의 차이를 보였다.
• 이 방법은 일반화 가능하며, 다중 스타일 전이, 다른 손실 함수, 그리고 동적 하이퍼파aram터 제어가 필요한 다른 딥러닝 작업으로의 확장이 가능하다.