[논문 리뷰] Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration

Lu Sheng, Ziyi Lin외 2명|arXiv (Cornell University)|2018. 05. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 14

한 줄 요약

Avatar-Net는 콘텐츠와 스타일 특징을 정렬하면서 의미적 콘텐츠와 세부 패턴을 유지하는 패치 기반 스타일 데코레이터를 사용하는 다중 스케일, 제로샷 스타일 전이 방법을 제안한다. 이 모듈을 다중 스케일 아워글라스 네트워크에 통합함으로써, 단일 피드포워드 패스 내에서 최신 기술 수준의 스타일 전이 품질과 효율성을 달성하여 실시간 응용 분야(예: 비디오 스타일 전이 및 스타일 블렌딩)를 가능하게 한다.

ABSTRACT

Zero-shot artistic style transfer is an important image synthesis problem aiming at transferring arbitrary style into content images. However, the trade-off between the generalization and efficiency in existing methods impedes a high quality zero-shot style transfer in real-time. In this paper, we resolve this dilemma and propose an efficient yet effective Avatar-Net that enables visually plausible multi-scale transfer for arbitrary style. The key ingredient of our method is a style decorator that makes up the content features by semantically aligned style features from an arbitrary style image, which does not only holistically match their feature distributions but also preserve detailed style patterns in the decorated features. By embedding this module into an image reconstruction network that fuses multi-scale style abstractions, the Avatar-Net renders multi-scale stylization for any style image in one feed-forward pass. We demonstrate the state-of-the-art effectiveness and efficiency of the proposed method in generating high-quality stylized images, with a series of applications include multiple style integration, video stylization and etc.

연구 동기 및 목표

• 제로샷 스타일 전이에서 일반화 능력과 효율성 간의 상충 관계를 해결한다.
• 재학습 없이도 임의의 미리 보지 않은 스타일에 대해 고품질의 스타일 전이를 가능하게 한다.
• 실시간 응용을 위해 단일 추론 패스 내에서 다중 스케일 스타일 전이를 달성한다.
• 콘텐츠를 왜곡하지 않으면서도 전반적인 스타일 분포와 세밀한 스타일 패턴을 모두 유지한다.
• 스태일에 종속되지 않은 종단 간 훈련 가능한 아키텍처를 개발하여 스타일화된 특징을 갖는 자연 이미지를 재구성한다.

제안 방법

• 임의의 스타일 이미지에서 의미적으로 정렬된 스타일 특징을 사용하여 콘텐츠 특징을 데코레이트하는 패치 기반 스타일 데코레이터를 도입한다.
• 스타일 데코레이터는 콘텐츠 특징와 스타일 특징 간의 분포 불일치를 최소화하면서 동시에 세부적인 스타일 패턴을 명시적으로 복원한다.
• 다중 스케일(skip) 연결을 갖춘 아워글라스 네트워크를 활용하여 특징 계층 전반에 걸쳐 통합적인 다중 스케일 스타일 적응을 가능하게 한다.
• 콘텐츠의 시각적 가독성을 보장하기 위해 스타일에 종속되지 않은 이미지 디코더를 사용하여 데코레이티드 특징에서 스타일화된 이미지를 재구성한다.
• 퍼셉추얼 손실이나 스타일 전용 감독에 의존하지 않고 자연 이미지 재구성만으로 아워글라스 네트워크를 훈련시킨다.
• 다중 스케일 특징을 한 번의 순방향 전파로 처리하여 효율적인 추론을 가능하게 하며, 계산 비용을 줄이기 위해 선택적 패치 샘플링을 도입한다.

실험 결과

연구 질문

• RQ1 단일 피드포워드 네트워크가 다양한 임의의 스타일에 대해 고품질의 제로샷 스타일 전이를 달성할 수 있는가?
• RQ2 스틸라이제이션 출력에서 콘텐츠 의미를 유지하면서도 세부적인 스타일 패턴을 어떻게 유지할 수 있는가?
• RQ3 반복 최적화나 스타일 전용 훈련 없이도 다중 스케일 스타일 적응을 효과적으로 달성할 수 있는가?
• RQ4 특징 분포 매칭과 국소 패턴 복원이 스타일 전이 품질에 미치는 영향은 무엇인가?
• RQ5 기존의 피드포워드 및 최적화 기반 접근법과 비교할 때, 제안된 방법은 효율성과 시각적 품질 측면에서 어떻게 다른가?

주요 결과

• Avatar-Net는 제로샷 스타일 전이에서 최신 기술 수준의 시각적 품질을 달성하여, WCT, AdaIN, Style-Swap와 같은 기존 방법보다 퍼셉추얼 품질과 패턴 충실도 측면에서 뛰어난 성능을 보였다.
• 복잡한 스타일(예: 붓자국, 원형 패턴 등)에 대해서도 콘텐츠 구조를 유지하면서도 자연스럽고 시각적으로 타당한 스타일화된 이미지를 생성한다.
• 단일 피드포워드 패스로 실시간 스타일 전이를 구현하여, Gatys 등에 의한 최적화 기반 방법보다 추론 속도에서 뚜렷한 우월성을 보였다.
• 비디오 스타일 전이에서 안정적인 성능을 보였으며, WCT에서 흔히 발생하는 시간적 플리커링과 콘텐츠 왜곡을 방지했다.
• 스타일 데코레이터에서 무작위 패치 샘플링을 도입함으로써 계산 비용을 줄였고, 품질 손실는 최소화하였다.
• 특징 혼합을 통한 스타일 보간, 다중 스타일 블렌딩, 조절 가능한 스타일 강도 설정 등 다양한 응용에 적합한 유연성을 제공한다.