[논문 리뷰] Copy the Old or Paint Anew? An Adversarial Framework for (non-) Parametric Image Stylization

Nikolay Jetchev, Urs Bergmann외 1명|arXiv (Cornell University)|2018. 11. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 4

한 줄 요약

이 논문은 파라미터 기반 딥러닝과 비파라미터적 예시 기반 스타일화를 결합한 GAN 기반 프레임워크인 Fully Adversarial Mosaics (FAMOS)를 제안한다. 이는 작은 스타일 데이터셋을 사용하여 고해상도 이미지 스타일화를 빠르게 구현할 수 있도록 한다. 완전 컨volutional U-Net 생성자로 학습된 스타일 패치 메모리의 혼합 가중치, 블렌딩 마스크, 생성된 콘텐츠를 예측함으로써 FAMOS는 빠른 추론과 복잡한 스타일의 정확한 재현을 동시에 달성하며, 대규모 출력에서 기존 방법보다 빠르고 고품질임을 입증한다.

ABSTRACT

Parametric generative deep models are state-of-the-art for photo and non-photo realistic image stylization. However, learning complicated image representations requires compute-intense models parametrized by a huge number of weights, which in turn requires large datasets to make learning successful. Non-parametric exemplar-based generation is a technique that works well to reproduce style from small datasets, but is also compute-intensive. These aspects are a drawback for the practice of digital AI artists: typically one wants to use a small set of stylization images, and needs a fast flexible model in order to experiment with it. With this motivation, our work has these contributions: (i) a novel stylization method called Fully Adversarial Mosaics (FAMOS) that combines the strengths of both parametric and non-parametric approaches; (ii) multiple ablations and image examples that analyze the method and show its capabilities; (iii) source code that will empower artists and machine learning researchers to use and modify FAMOS.

연구 동기 및 목표

• 파라미터 기반 및 비파라미터적 스타일화 방법의 한계를 보완하기 위해 빠른 추론과 정확한 스타일 재현의 장점을 융합한다.
• 작은 스타일 이미지 데이터셋만으로도 효율적이고 고해상도의 스타일화를 가능하게 하여 예술적 실험에 적합하다.
• 예술가가 콘텐츠 생성과 직접적인 스타일 복사 간의 균형을 조절할 수 있는 민첩하고 사용자 제어가 가능한 프레임워크를 제공한다.
• 임의의 출력 크기를 지원하고 미리보지 않은 콘텐츠 이미지로의 일반화가 가능한 스케일러블한 완전 컨volutional 아키텍처를 개발한다.

제안 방법

• FAMOS는 단일 U-Net 생성자가 혼합 행렬 A, 생성 이미지 IG, 콘텐츠와 스타일을 조합하기 위한 블렌딩 마스크 α를 예측한다.
• 비파라미터적 메모리 M은 스타일 이미지에서 틀어진 패치를 저장하여 추론 시 직접적인 스타일 복사를 가능하게 한다.
• 생성된 이미지는 I = α ⊙ IG + (1−α) ⊙ IM 방식으로 블렌딩되며, 여기서 IM은 혼합 행렬 A를 사용해 메모리 M에서 복사된다.
• 모델은 복합 손실으로 훈련되며, 패치 수준의 진짜/가짜 예측에 대한 적대적 손실과 특징 맵 φ를 사용한 인지적 콘텐츠 재구성 손실이 포함된다.
• 자르기 좌표 ψ는 메모리 패치의 공간적 오프셋을 인코딩하며, 콘텐츠 및 메모리 패치 간에 공유되어 일반화 성능을 향상시킨다.
• 이 방법은 랜덤 자르기 방식을 통해 샘플 외 콘텐츠 이미지로의 일반화를 지원할 뿐 아니라, 고정된 자르기 방식을 통해 특정 이미지에 대해 고해상도 모자이크를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 파라미터 기반 생성과 비파라미터적 예시 기반 복사의 장점을 융합한 GAN 기반 프레임워크가 고속·고품질 스타일화를 효과적으로 달성할 수 있는가?
• RQ2 학습된 스타일 패치 메모리의 사용이 순수 파라미터 모델에 비해 스타일화 정확도를 어떻게 향상시키는가?
• RQ3 가중치 공유 및 좌표 인코딩과 같은 아키텍처 선택이 스타일화의 일반화 및 성능에 어떻게 기여하는가?
• RQ4 일반화 모드와 고정된 공간 정렬 모드 간의 훈련 방식 차이가 미리보지 않은 콘텐츠 이미지에 대한 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• FAMOS는 최대 2000×2400 픽셀의 고해상도 스타일화를 실시간으로 수행할 수 있어 예술적 실험에 적합하다.
• 혼합 행렬과 블렌딩 마스크 예측에 동일한 U-Net을 사용함으로써 모델 크기와 추론 시간을 줄였지만 품질에 영향을 주지 않았다.
• WGAN-GP 손실은 비파라미터적 메모리 사용 시 훈련 안정성을 향상시키지만, 메모리 비활성화 시 DCGAN 손실이 더 우수한 성능을 보였다.
• 메모리 패치를 무작위로 오프셋하여 자르면 미리보지 않은 콘텐츠 이미지로의 일반화 성능이 향상되며, 고정된 자르기 방식은 특정 이미지에 대해 더 높은 정밀도를 제공한다.
• 입력에 공간 노이즈를 추가하면 훈련이 안정화되지만, 출력은 노이즈에 크게 민감하지 않아 확률적 입력에 대해 강건함을 시사한다.
• 메모리 M을 생성자에 직접 입력하면 계산량만 증가하고 품질 향상은 없어 비효율적이다.