[논문 리뷰] P$^2$-GAN: Efficient Style Transfer Using Single Style Image

Zhentan Zheng, Jianyi Liu|arXiv (Cornell University)|2020. 01. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 단일 스타일 이미지만을 사용하여 고품질이고 효율적인 스타일 전이를 가능하게 하는 새로운 GAN 기반 스타일 전이 방법인 P²-GAN을 제안한다. 패치 순열을 적용하여 다양한 훈련 샘플을 생성하고, 패치 판별자를 도입하여 원활한 처리를 구현함으로써, 모델은 2–3배 빠른 추론 속도로 최신 기술 대비 뛰어난 局소 스타일 전이 성능을 달성하며, 스타일 충실도와 계산 효율성 측면에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Style transfer is a useful image synthesis technique that can re-render given image into another artistic style while preserving its content information. Generative Adversarial Network (GAN) is a widely adopted framework toward this task for its better representation ability on local style patterns than the traditional Gram-matrix based methods. However, most previous methods rely on sufficient amount of pre-collected style images to train the model. In this paper, a novel Patch Permutation GAN (P$^2$-GAN) network that can efficiently learn the stroke style from a single style image is proposed. We use patch permutation to generate multiple training samples from the given style image. A patch discriminator that can simultaneously process patch-wise images and natural images seamlessly is designed. We also propose a local texture descriptor based criterion to quantitatively evaluate the style transfer quality. Experimental results showed that our method can produce finer quality re-renderings from single style image with improved computational efficiency compared with many state-of-the-arts methods.

연구 동기 및 목표

• 단일 스타일 이미지로만 GAN 기반 스타일 전이 모델을 훈련하는 데 도전하며, 다양한 스타일 이미지 컬렉션의 필요성을 피하기 위한 것이다.
• 전체 콘텐츠 추론이 아닌 패치 수준의 텍스처 학습에 집중하여 국소적 스타일 전이(예: 브러시스트로크)의 충실도를 향상시키기 위한 것이다.
• 경량의 피드포워드 생성자와 패치 및 전체 이미지를 원활하게 처리할 수 있는 패치 판별자를 설계하여 계산 효율성을 향상시키기 위한 것이다.
• 사용자가 지정한 단일 스타일 이미지에 정확히 부합하는 제어 가능하고 사용자 중심의 스타일 전이 시스템을 제공하기 위한 것이다.

제안 방법

• 패치 순열 모듈은 단일 스타일 이미지에서 무작위로 패치를 추출하고 재조합하여 더 큰 순열 이미지를 생성함으로써 다수의 훈련 샘플을 생성한다.
• 생성자 네트워크는 잔차 블록을 사용한 인코더-디코더 아키텍처를 활용하여 콘텐츠를 유지하면서 스타일을 전이하며, 빠른 추론을 최적화한다.
• 패치 수준과 전체 해상도 이미지를 동시에 처리할 수 있도록 설계된 새로운 패치 판별자(Dₚ)가 제안되어 엔드 투 엔드 훈련과 일관된 감독을 가능하게 한다.
• 패치 수준에서의 스타일 유사도를 측정하고 최적화하기 위해 LBP(Local Binary Pattern) 기반의 국소 텍스처 기술자가 인식 손실로 사용된다.
• 전체 GAN 손실은 적대적 손실, 콘텐츠 손실, 그리고 LBP 기반 스타일 손실을 조합하며, 최적의 트레이드오프를 위해 하이퍼파라미터 λ가 조정된다.
• 훈련은 단일 GPU에서 RMSProp을 사용하여 수행되며, 모델은 스타일당 약 20분 내로 수렴한다.

실험 결과

연구 질문

• RQ1 단일 스타일 이미지로만 훈련된 GAN 기반 스타일 전이 모델이 분포 붕괴를 피하면서도 고품질 결과를 달성할 수 있는가?
• RQ2 단일 이미지에서 유도된 패치 수준의 데이터 증강 기법이 스타일 전이에서 국소 브러시스트로크 패턴의 학습에 어떻게 기여하는가?
• RQ3 통합된 판별자가 자연 이미지와 패치 수준 입력을 동시에 효과적으로 처리함으로써 훈련 안정성과 효율성을 향상시킬 수 있는가?
• RQ4 제안된 LBP 기반 손실이 그람 행렬 또는 인식 손실 대비 국소 텍스처 전이의 충실도를 얼마나 향상시키는가?
• RQ5 제안된 방법의 계산 효율성은 기존 최신 기술 수준의 GAN 기반 및 비-GAN 기반 스타일 전이 모델들과 비교해 어떤가?

주요 결과

• 제안된 방법은 가장 낮은 LBP 기반 스타일 유사도 점수(0.756 ± 0.22)를 기록하여 원본 스타일 이미지에 가장 높은 텍스처 충실도를 보였으며, JohnsonNet(0.790 ± 0.33)과 TextureNetIN(0.776 ± 0.35)을 모두 앞서는 성능을 보였다.
• 이전의 GAN 기반 방법인 MGAN [6]은 가장 높은 점수(0.963 ± 0.37)를 기록하여 가장 낮은 스타일 유사도를 보였으며, 이는 의도하지 않은 또는 일관되지 않은 패턴을 학습했을 가능성을 시사한다.
• 1024×1024 해상도 이미지에서 실시간 성능(20 FPS 이상)을 달성하여, 동일한 해상도에서 JohnsonNet(128 ms), TextureNetIN(137 ms), MGAN(40.7 ms)을 크게 앞서는 성능을 보였다.
• 512×512 해상도 이미지에서, MGAN 대비 2.3배 빠르고, TextureNetIN 대비 2.2배 빠른 성능을 기록하여 뛰어난 계산 효율성을 입증했다.
• 최신 기술 대비 계산 비용을 30–50% 감소시켰으며, 스타일 전이 품질을 유지하거나 향상시켰다.
• 제거 실험 결과 패치 순열과 패치 판별자가 미세한 브러시스트로크 패턴을 학습하고 전체 구조 유출을 방지하는 데 핵심적인 역할을 했다.