[논문 리뷰] EFANet: Exchangeable Feature Alignment Network for Arbitrary Style Transfer

Zhijie Wu, Chunjin Song외 3명|arXiv (Cornell University)|2018. 11. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 4

한 줄 요약

EFANet는 기능 교환 블록을 통해 깊이 있는 특징 공간에서 공유 표현을 최대화함으로써 콘텐츠 및 스타일 특징을 동시에 정렬함으로써, 획기적으로 향상된 스타일화 품질과 구조 보존을 달성하는 새로운 엔드 투 엔드 프레임워크를 제안한다. 백색화 손실을 도입하여 콘텐츠 특징을 정제하고 다중 척도 융합을 가능하게 함으로써, EFANet는 정량적 및 정성적 기준에서 이전 방법들보다 뛰어난 고해상도 실시간 스타일 전이를 달성한다.

ABSTRACT

Style transfer has been an important topic both in computer vision and graphics. Since the seminal work of Gatys et al. first demonstrates the power of stylization through optimization in the deep feature space, quite a few approaches have achieved real-time arbitrary style transfer with straightforward statistic matching techniques. In this work, our key observation is that only considering features in the input style image for the global deep feature statistic matching or local patch swap may not always ensure a satisfactory style transfer; see e.g., Figure 1. Instead, we propose a novel transfer framework, EFANet, that aims to jointly analyze and better align exchangeable features extracted from content and style image pair. In this way, the style features from the style image seek for the best compatibility with the content information in the content image, leading to more structured stylization results. In addition, a new whitening loss is developed for purifying the computed content features and better fusion with styles in feature space. Qualitative and quantitative experiments demonstrate the advantages of our approach.

연구 동기 및 목표

• 고정되거나 비적응적인 스타일 통계에 의존하는 기존 스타일 전이 방법의 한계를 해결하기 위해, 복잡한 스타일에서 왜곡되거나 일관성 없는 스타일 전이가 발생하지 않도록 하는 것.
• 콘텐츠 및 스타일 이미지를 함께 분석하여 쌍별로 특화되고 상호 호환 가능한 스타일 특징을 추출함으로써 스타일화 품질을 향상시키는 것.
• 실시간으로 임의의 스타일 전이를 가능하게 하면서도 콘텐츠의 구조를 보존하고 복잡한 스타일 패턴을 정확히 모방하는 방법을 개발하는 것.
• 새로운 백색화 손실 함수를 통해 스타일 아티팩트를 제거함으로써 콘텐츠 특징의 융합을 향상시키는 것.

제안 방법

• 콘텐츠 및 스타일 이미지 간의 공통적이고 교환 가능한 스타일 특징을 학습하기 위해, 기능 교환 블록을 도입하여 깊이 있는 특징 공간에서의 공유 표현을 최대화한다.
• 콘텐츠 특징에 새로운 백색화 손실을 적용하여 스타일 패턴을 제거함으로써 스타일 특징과의 더 깔끔한 융합과 호환성 향상을 달성한다.
• 다양한 층(예: relu_4)에서 다중 척도 특징 융합을 적용하여 전반적이고 국소적인 스타일 패턴을 더 잘 포착한다.
• 콘텐츠 손실, 스타일 손실, 그리고 제안된 백색화 손실의 조합을 통해 엔드 투 엔드로 네트워크를 훈련시어 스타일화 품질을 최적화한다.
• 반복 최적화를 피드포워드 네트워크로 대체함으로써 단일 GPU에서 실시간 추론을 지원함으로써 빠른 스타일 전이를 가능하게 한다.
• 하이퍼파라미터 α를 사용한 블렌딩 전략을 통해 스타일화 강도를 제어할 수 있으며, 재학습 없이도 콘텐츠에서 스타일러이즈드 이미지로의 부드러운 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고립된 스타일 통계를 사용하는 방법과 비교해, 콘텐츠 및 스타일 이미지를 함께 분석함으로써 임의의 스타일 전이의 품질과 일관성을 향상시킬 수 있는가?
• RQ2 콘텐츠 및 스타일 이미지 양쪽에 공통되는 특징을 학습함으로써 더 나은 정렬과 더 구조적인 스타일 전이 결과를 얻을 수 있는가?
• RQ3 백색화 손실이 잔류하는 스타일 패턴을 제거하여 콘텐츠 특징을 정제함으로써 스타일 특징과의 융합을 향상시킬 수 있는가?
• RQ4 다중 척도 특징 융합은 스타일러이즈드 출력에서 세밀한 스타일 패턴과 공간적 구조의 보존에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 기존 실시간 스타일 전이 방법에 비해 시각적 품질과 사용자 선호도 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• EFANet는 쌍별 비교에서 30명의 참가자로부터 600표를 확보하여 모든 베이스라인을 압도하는 최고의 사용자 선호도 점수를 기록하며, 인지적 품질 측면에서 뛰어난 성능을 보였다.
• 공통 특징 학습을 통한 전체 모델은 교환 가능한 특징이 없는 제거된 베이스라인 대비 뚜렷한 방식으로 스타일 손실을 감소시켰으며, 더 나은 스타일 매칭을 보여주었다.
• 제거 실험을 통해 백색화 손실을 제거할 경우 윤곽선이 흐려지고 노란빛 아티팩트가 발생하는 것으로 확인되어, 이 손실이 특징 호환성과 시각적 명료도 향상에 기여하는 바가 있음을 입증했다.
• 다중 척도 전략은 시각적 비교를 통해 눈에 띄는 스타일 패턴을 더 잘 포착함을 보여주었으며, 전체 모델이 단일 척도 대비 질감과 색상 일관성을 더 잘 유지하는 것으로 나타났다.
• EFANet는 12GB Titan V GPU에서 실시간 추론 성능을 유지를 하면서도 AdaIN과 비교해 뛰어난 스타일화 품질을 제공한다.
• 블렌딩(α)을 통한 탄력적인 스타일화 제어를 지원하여 재학습 없이도 콘텐츠에서 스타일러이즈드 이미지로의 부드러운 전환을 가능하게 한다.