[논문 리뷰] A Unified Framework for Generalizable Style Transfer: Style and Content Separation

Yexun Zhang, Ya Zhang외 1명|arXiv (Cornell University)|2018. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 6

한 줄 요약

이 논문은 전용 인코더를 사용해 스타일과 콘텐츠 표현을 명시적으로 분리함으로써, 문자 서체 및 신경 스타일 전이 모두에서 일반화 가능한 스타일 전이를 위한 통합 딥러닝 프레임워크 EMD를 제안한다. 이 프레임워크는 믹서를 통해 학습된 표현을 혼합함으로써 새로운 스타일과 콘텐츠로의 제로샷 전이를 가능하게 하며, 최소한의 fine-tuning으로 최신 기술 수준의 일반화 성능을 달성하고 다양한 스타일에서 뛰어난 성능을 보인다.

ABSTRACT

Image style transfer has drawn broad attention in recent years. However, most existing methods aim to explicitly model the transformation between different styles, and the learned model is thus not generalizable to new styles. We here propose a unified style transfer framework for both character typeface transfer and neural style transfer tasks leveraging style and content separation. A key merit of such framework is its generalizability to new styles and contents. The overall framework consists of style encoder, content encoder, mixer and decoder. The style encoder and content encoder are used to extract the style and content representations from the corresponding reference images. The mixer integrates the above two representations and feeds it into the decoder to generate images with the target style and content. During training, the encoder networks learn to extract styles and contents from limited size of style/content reference images. This learning framework allows simultaneous style transfer among multiple styles and can be deemed as a special `multi-task' learning scenario. The encoders are expected to capture the underlying features for different styles and contents which is generalizable to new styles and contents. Under this framework, we design two individual networks for character typeface transfer and neural style transfer, respectively. For character typeface transfer, to separate the style features and content features, we leverage the conditional dependence of styles and contents given an image. For neural style transfer, we leverage the statistical information of feature maps in certain layers to represent style. Extensive experimental results have demonstrated the effectiveness and robustness of the proposed methods.

연구 동기 및 목표

• 기존 스타일 전이 방법들이 각 새로운 스타일에 대해 재학습이 필요로 하는 일반화 부족 문제를 해결하기 위해.
• 문자 서체 전이와 신경 스타일 전이 모두에 적용 가능한 통합 프레임워크를 개발하기 위해.
• 기본 이미지에서 분리된 스타일과 콘텐츠 표현을 학습함으로써, 단일 참조 이미지로도 제로샷 스타일 전이를 가능하게 하기 위해.
• 공동 다중 작업 학습 설정을 통해 동시에 여러 스타일로의 전이를 구현하기 위해.

제안 방법

• 프레임워크는 참조 이미지에서 분리된 표현을 추출하기 위해 스타일 인코더와 콘텐츠 인코더를 사용한다.
• 믹서 레이어는 가속화된 인스턴스 정규화(AdaIN)를 적용하고 가속화된 통계를 학습함으로써 인코딩된 스타일 및 콘텐츠 특징을 혼합한다.
• 신경 스타일 전이의 경우, 스타일은 특정 레이어의 활성화 맵의 통계적 특징(평균 및 분산)으로 표현된다.
• 문자 서체 전이의 경우, 이미지를 조건으로 하여 스타일과 콘텐츠 간의 조건부 의존성을 활용해 특징을 분리한다.
• 디코더는 혼합된 스타일-콘텐츠 특징에서 재구성함으로써 최종 이미지를 생성한다.
• 콘텐츠 및 스타일 무결성을 유지하기 위해, 인식적, 적대적, 재구성 손실의 조합을 사용해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 재학습 없이도 문자 서체 전이 및 신경 스타일 전이에서 새로운 스타일에 일반화될 수 있는가?
• RQ2 스타일과 콘텐츠의 분리가 단지 몇 장의 참조 이미지로만 제로샷 스타일 전이를 가능하게 하는 데 얼마나 효과적인가?
• RQ3 이 프레임워크는 스타일 보간 및 스타일-콘텐츠 트레이드오프를 어느 정도 지원할 수 있는가?
• RQ4 기존의 임의의 스타일 전이 방법과 비교했을 때, 제안된 방법은 품질과 일반화 성능 측면에서 어떤가?

주요 결과

• 제안된 EMD 프레임워크는 재학습 없이도 임의의 새로운 스타일과 콘텐츠로 일반화되며, 제로샷 전이 능력을 달성한다.
• 대부분의 기존 임의의 스타일 전이 베이스라인보다 일반화 및 강건성에서 뛰어난 성능을 보이지만, 텍스처넷에 비해 약간 낮은 수준의 원시 전이 품질을 기록한다.
• 스타일 통계를 선형적으로 조합함으로써 스타일 보간과 스타일-콘텐츠 트레이드오프가 성공적으로 달성되어 스타일 간 부드러운 전이가 가능하다.
• 특히 문자 서체 전이에서 잘못된 스타일 적용이 의미적 손상의 위험이 있는 만큼, 높은 품질의 세부 사항과 날카로운 선을 유지한다.
• 광범위한 추상화 연구를 통해 분리된 스타일과 콘텐츠 표현이 일반화 및 유연성에 핵심적임을 확인한다.
• 모델은 쌍체화된 이미지 번역 및 비쌍체화된 이미지 번역 작업 모두에서 뛰어난 성능을 기록하여, 다양한 스타일 전이 시나리오에 걸쳐 유연성을 입증한다.