[논문 리뷰] Separating Style and Content for Generalized Style Transfer

Yexun Zhang, Ya Zhang외 2명|arXiv (Cornell University)|2017. 11. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 18

한 줄 요약

이 논문은 스타일 인코더, 콘텐츠 인코더, 이중선형 믹서, 디코더를 사용하여 스타일과 콘텐츠 표현을 분리하는 일반화된 스타일 전이 네트워크(EML)를 제안한다. 조건부 의존성과 트리플릿 손실을 통한 엔드 투 엔드 훈련을 통해 분리된 특징을 학습함으로써, 10장의 참조 이미지만으로도 새로운 스타일과 콘텐츠에 일반화되며, 중국 문자 타이포그래피 전이 과제에서 재훈련 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Neural style transfer has drawn broad attention in recent years. However, most existing methods aim to explicitly model the transformation between different styles, and the learned model is thus not generalizable to new styles. We here attempt to separate the representations for styles and contents, and propose a generalized style transfer network consisting of style encoder, content encoder, mixer and decoder. The style encoder and content encoder are used to extract the style and content factors from the style reference images and content reference images, respectively. The mixer employs a bilinear model to integrate the above two factors and finally feeds it into a decoder to generate images with target style and content. To separate the style features and content features, we leverage the conditional dependence of styles and contents given an image. During training, the encoder network learns to extract styles and contents from two sets of reference images in limited size, one with shared style and the other with shared content. This learning framework allows simultaneous style transfer among multiple styles and can be deemed as a special `multi-task' learning scenario. The encoders are expected to capture the underlying features for different styles and contents which is generalizable to new styles and contents. For validation, we applied the proposed algorithm to the Chinese Typeface transfer problem. Extensive experiment results on character generation have demonstrated the effectiveness and robustness of our method.

연구 동기 및 목표

• 기존의 스타일 전이 방법이 새로운 스타일-콘텐츠 쌍마다 재훈련이 필요로 하는 한계를 해결하기 위해.
• 재훈련 없이도 새로운 스타일과 콘텐츠에 일반화되도록, 분리된 스타일과 콘텐츠 표현을 학습하기 위해.
• 공유된 특징 인코더를 통해 동시에 여러 스타일과 콘텐츠 간의 전이를 지원하는 통합 프레임워크를 개발하기 위해.
• 세부적인 스타일 변화가 존재하고 데이터 효율적 학습이 필수적인 중국 타이포그래피 전이 과제에서 접근 방식을 검증하기 위해.

제안 방법

• 모델은 참조 이미지에서 분리된 특징을 추출하기 위해 스타일 인코더와 콘텐츠 인코더를 사용하며, 이미지가 주어졌을 때 스타일과 콘텐츠 간의 조건부 의존성을 활용한다.
• 이중선형 믹서는 추출된 스타일 및 콘텐츠 표현을 결합하여 이미지 합성용 통합 특징 맵을 생성한다.
• 디코더는 피드포워드 네트워크를 사용하여 혼합 표현에서 최종 이미지를 생성한다.
• 이미지 재구성에 대한 가중 L1 손실을 사용하며, (스타일 참조 세트, 콘텐츠 참조 세트, 타겟 이미지)의 트리플릿을 사용해 엔드 투 엔드로 훈련된다.
• 각 트리플릿이 고유한 스타일-콘텐츠 조합을 나타내는 다중 작업 학습 시나리오로 프레임워크를 훈련한다.
• 새로운 참조 세트에 대해 학습된 인코더와 믹서를 적용함으로써, 재훈련 없이도 새로운 스타일로 일반화된다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 새로운 스타일과 콘텐츠에 일반화할 수 있는가?
• RQ2 소수의 참조 이미지에서만 분리된 스타일과 콘텐츠 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 공유된 특징 표현을 학습하는 것이 스타일-전이 쌍마다 재훈련하는 것보다 성능을 향상시키는가?
• RQ4 중국 문자 타이포그래피 전이와 같은 세밀한 스타일 전이 과제에서 모델의 성능은 어떠한가?

주요 결과

• EMD 모델은 10개의 무작위로 샘플된 스타일에 대해 평균적으로 가장 낮은 L1 손실, RMSE, PDAR를 기록하며, 모든 베이스라인보다 뛰어나다.
• 각 스타일당 10장의 참조 이미지만으로도 EMD는 zi-to-zi-300보다 우수하고, zi-to-zi-1299에 가까운 성능을 보이며, 강력한 희소 샘플 일반화 능력을 입증한다.
• pix2pix, AEGN, CycleGAN 등의 베이스라인은 10장의 이미지로 미세조정해도 성능이 열등하며, 만족스러운 결과를 얻기 위해 수백 장의 이미지가 필요로 한다.
• 재훈련 기반 방법과 달리, 모델은 훈련 중에 보지 못한 새로운 스타일로 효과적으로 일반화된다.
• 공유된 인코더와 이중선형 믹서의 사용은 최소한의 데이터로 다양한 스타일-콘텐츠 조합에서 안정적인 성능을 제공한다.