[논문 리뷰] Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer

Shuai Yang, Liming Jiang외 2명|arXiv (Cornell University)|2022. 03. 24.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 기존 얼굴 도메인의 스타일을 유지하는 내재 스타일 경로와 참조 이미지에서 유연하게 제어할 수 있는 외재 스타일 경로를 도입한 새로운 생성 모델인 DualStyleGAN을 제안한다. 이 모델은 1024×1024 해상도에서 예시 기반의 포트레이트 스타일 전이를 가능하게 하며, 몇 백장의 스타일 이미지만으로도 최신 기술 수준의 성능을 달성한다. 또한 점진적 미세조정 전략을 통해 안정적인 분포 이동과 효과적인 스타일 조절을 보장한다.

ABSTRACT

Recent studies on StyleGAN show high performance on artistic portrait generation by transfer learning with limited data. In this paper, we explore more challenging exemplar-based high-resolution portrait style transfer by introducing a novel DualStyleGAN with flexible control of dual styles of the original face domain and the extended artistic portrait domain. Different from StyleGAN, DualStyleGAN provides a natural way of style transfer by characterizing the content and style of a portrait with an intrinsic style path and a new extrinsic style path, respectively. The delicately designed extrinsic style path enables our model to modulate both the color and complex structural styles hierarchically to precisely pastiche the style example. Furthermore, a novel progressive fine-tuning scheme is introduced to smoothly transform the generative space of the model to the target domain, even with the above modifications on the network architecture. Experiments demonstrate the superiority of DualStyleGAN over state-of-the-art methods in high-quality portrait style transfer and flexible style control.

연구 동기 및 목표

• 참조 예술작품에서 유래한 색상과 복잡한 구조적 스타일을 정확히 유지하면서 고해상도의 예시 기반 포트레이트 스타일 전이를 가능하게 하기.
• 기존의 StyleGAN 기반 방법들이 외부 예술 스타일에 대한 세밀하고 민감한 제어 기능이 부족한 점을 보완하기.
• 원래 StyleGAN의 고품질 생성 능력을 유지하면서도 새로운 예술 도메인으로의 전이를 가능하게 하는 새로운 생성 아키텍처 설계하기.
• 훈련 과정을 안정화하고 목표 스타일 도메인으로의 부드러운 분포 이동을 가능하게 하는 점진적 미세조정 전략 개발하기.
• 콘텐츠 스타일과 예술 스타일을 각각 분리된 내재 스타일 및 외재 스타일 경로를 통해 민감하고도 자유로운 제어 가능하게 하기.

제안 방법

• 이중 스타일 경로 아키텍처 도입: 기존 StyleGAN에서 유지된 내재 스타일 경로(콘텐츠 및 원래 도메인 스타일용)와 외부 예술 스타일을 모델링하고 제어하기 위한 신규 외재 스타일 경로.
• 외재 스타일 경로를 잔차 구조로 설계하여 컨볼루션 레이어에 대한 미세조정 효과를 근사함으로써 효과적인 구조적 스타일 조절을 가능하게 함.
• 외재 스타일 경로에 계층적 구조 도입: 굵은 해상도 레이어는 얼굴 구성 요소의 형태(예: 입)를 조절하고, 세밀한 해상도 레이어는 색상 조절을 담당함.
• 점진적 미세조정 기법 제안: 쉬운 스타일 전이 작업부터 시작하여 점차 과제의 난이도를 높임으로써 생성 공간의 안정적 적응을 보장함.
• 모드 붕괴를 줄이고 스타일 다양성을 향상시키기 위해 쌍방향 얼굴-포트레이트 데이터 생성을 위한 얼굴 탈스타일화 방법 도입.
• 내재 및 외재 스타일 코드의 보간을 통해 자유로운 스타일 블렌딩과 유지가 가능하며, 외재 코드의 스케일 조정을 통해 스타일 강도를 유연하게 조절함.

실험 결과

연구 질문

• RQ1 기존 얼굴 도메인의 품질과 제어 능력을 유지하면서도 예시 기반 스타일 전이를 지원할 수 있는 생성 모델을 확장할 수 있는가?
• RQ2 참조 예술작품에서 유래한 구조적 스타일과 색상 스타일을 고해상도 포트레이트 생성에서 효과적이고 계층적으로 조절할 수 있는가?
• RQ3 기존에 미리 훈련된 StyleGAN의 생성 품질을 유지하면서도 새로운 예술 도메인으로의 전이를 가능하게 하기 위해 필요한 아키텍처 및 훈련 전략은 무엇인가?
• RQ4 점진적 미세조정이 수정된 StyleGAN 아키텍처에서 훈련 과정을 안정화시키고 부드러운 분포 이동을 가능하게 할 수 있는가?
• RQ5 잠재 코드를 통해 콘텐츠와 예술 스타일에 대한 민감하고 분리된 제어를 어떻게 달성할 수 있는가?

주요 결과

• DualStyleGAN은 고해상도(1024×1024) 예시 기반 포트레이트 스타일 전이에서 최신 기술 수준의 성능을 달성하며, 참조 이미지의 색상과 구조적 스타일을 정확히 재현하는 고해상도 패치스티 작품을 생성한다.
• 외재 스타일 경로를 통해 의미론적 계층적 스타일 조절이 가능하다: 초기 레이어는 전체 얼굴 형태에 영향을 주며, 16×16 레이어는 얼굴 구성 요소를 과장하고, 32×32 레이어는 주름과 같은 국소적 특징을 정밀 조절한다.
• 점진적 미세조정은 성공적인 스타일 전이에 필수적이다; 직접 훈련은 복잡한 외재 스타일, 특히 후반 단계에서 전이에 실패한다.
• 색상 레이어를 비활성화하거나 최종 레이어에서 외재 코드를 내재 코드로 교체함으로써 색상과 구조의 유지가 가능하며, 이는 아티스틱 스타일을 유지하면서도 사진처럼 현실적인 결과를 도출한다.
• 내재 및 외재 스타일 코드의 보간을 통해 부드러운 스타일 블렌딩이 달성되었으며, 스타일 다양체의 합리적인 커버리지가 확인되었다.
• 모델은 희미하거나 극단적인 스타일(예: Pixar, 만화, 슬램 덩크)에 대해서도 일반화 가능하며 합리적인 결과를 도출하지만, 최적화 없이 사용할 경우 성능이 약간 떨어지고, 극단적 또는 희귀한 스타일에서는 잡음이나 이상 현상이 발생할 수 있다.