[논문 리뷰] Multimodal Style Transfer via Graph Cuts

Yulun Zhang, Fang Chen외 5명|arXiv (Cornell University)|2019. 04. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 9

한 줄 요약

이 논문은 다중모달 스타일 전이(Multimodal Style Transfer, MST)를 제안하며, 전통적인 전역 통계가 아닌 국소적 특징의 다중 클러스터로 스타일을 모델링하고, 그래프 컷을 사용해 이러한 서브-스타일을 콘텐츠 이미지의 구조에 적응적으로 매칭한다. 스타일 특징을 클러스터링하고, 그래프 상에서 에너지 최소화를 통해 스타일-콘텐츠 매칭을 해결함으로써 MST는 더 정확하고 아티팩트가 없는 스타일 전이를 가능하게 하며, 콘텐츠 구조를 유지하고 다양한 스타일 블렌딩을 유연하게 구현한다. 이는 기존 방법들보다 시각적 품질과 내성 면에서 뛰어나다.

ABSTRACT

An assumption widely used in recent neural style transfer methods is that image styles can be described by global statics of deep features like Gram or covariance matrices. Alternative approaches have represented styles by decomposing them into local pixel or neural patches. Despite the recent progress, most existing methods treat the semantic patterns of style image uniformly, resulting unpleasing results on complex styles. In this paper, we introduce a more flexible and general universal style transfer technique: multimodal style transfer (MST). MST explicitly considers the matching of semantic patterns in content and style images. Specifically, the style image features are clustered into sub-style components, which are matched with local content features under a graph cut formulation. A reconstruction network is trained to transfer each sub-style and render the final stylized result. We also generalize MST to improve some existing methods. Extensive experiments demonstrate the superior effectiveness, robustness, and flexibility of MST.

연구 동기 및 목표

• 기존 신경망 기반 스타일 전이 방법이 스타일을 단일 분포로 간주함으로써 시각적 아티팩트가 발생하고, 복잡하거나 공간적으로 구조화된 스타일을 잘 처리하지 못하는 한계를 해결하기 위해.
• 실제 이미지의 스타일 패턴 진정한 분포를 더 잘 반영하기 위해 이미지 스타일을 다중 서브-스타일의 혼합으로 모델링하기 위해.
• 공간적 및 의미적 구성에 기반해 서브-스타일을 콘텐츠 특징에 적응적으로 정렬하는 그래프 컷 기반 매칭 기법을 개발하기 위해.
• 재학습 없이도 사용자 제어가 가능한 서브-스타일 선택과 다중스타일 블렌딩을 가능하게 하여 스타일 전이의 내성과 유연성을 향상시키기 위해.
• AdaIN 및 WCT와 같은 기존 방법들을 향상시키기 위해 MST 프레임워크를 일반화하여 복잡한 스타일에 대해 성능을 향상시키기 위해.

제안 방법

• 사전 학습된 VGG-19 네트워크에서 추출한 특징 임bedding을 기반으로 k-means 클러스터링을 사용해 스타일 이미지의 깊이 특징 맵을 K개의 서브-스타일로 클러스터링한다.
• 콘텐츠와 서브-스타일 클러스터 간의 호환성을 표현하는 간선을 포함한 그래프 상에서 에너지 최소화 문제로 스타일-콘텐츠 매칭을 수식화한다. 노드는 콘텐츠 특징을 나타내며, 간선은 콘텐츠 특징와 서브-스타일 간의 호환성을 기록한다.
• α-확장(α-expansion)을 통해 그래프 컷 최적화를 해결함으로써, 국소적으로 최적의 서브-스타일 할당을 보장하면서도 공간적 일관성을 유지한다.
• 각 서브-스타일을 독립적으로 전이하고 최종 스타일 전이 이미지로 조합하기 위해 재구성 네트워크를 학습시킨다.
• 기존 방법들에 대해 전역 스타일 통계 대신 제안된 다중모달 표현과 그래프 기반 매칭을 통합함으로써 프레임워크를 일반화한다.
• 다른 스타일 이미지의 패턴을 서로 다른 서브-스타일로 간주함으로써 다중스타일 전이를 지원하며, 수동 마스크 없이도 적응적 블렌딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 매트릭스와 같은 단일분포 표현 대비 국소적 서브-스타일 혼합으로 스타일을 모델링할 경우, 신경망 기반 스타일 전이의 정확도와 시각적 품질이 향상되는가?
• RQ2 다양화 가능한 전역 최적의 수식을 통해 스타일 패턴을 콘텐츠 구조에 적응적으로 매칭할 수 있는가?
• RQ3 제안된 다중모달 스타일 전이 프레임워크는 아티팩트 감소와 구조 보존 측면에서 AdaIN 및 WCT와 같은 기존 방법을 얼마나 향상시킬 수 있는가?
• RQ4 서브-스타일 수(K)가 시각적 품질과 내성 면에서 스타일 전이 결과에 어떤 영향을 미치는가?
• RQ5 추가적인 사용자 제공 마스크나 재학습 없이도 사용자 제어가 가능한 다중스타일 전이를 유연하게 수행할 수 있는가?

주요 결과

• MST는 천정과 같은 매끄러운 콘텐츠 영역에서 불필요한 선이나 흐림 현상과 같은 시각적 아티팩트를 크게 줄였다.
• 대부분의 균일한 배경이나 눈에 띄는 국소 패턴이 있는 경우, AdaIN, WCT, LST보다 콘텐츠 구조를 더 잘 유지한다.
• K=1일 경우 MST는 전역 통계 기반 방법과 유사한 성능을 보이지만, K를 증가시킬수록 콘텐츠 구조와의 정렬도 향상되고 왜곡도 감소한다.
• MST를 사용한 다중스타일 전이는 서로 다른 콘텐츠 영역에 서로 다른 스타일 패턴을 적응적으로 할당함으로써, AdaIN 및 WCT의 등가 블렌딩보다 더 뛰어난 시각적 일관성을 제공한다.
• AdaIN에 MST를 일반화한 AdaIN + MST-K는 국소적 스타일 적응을 가능하게 하여, 잘못된 입 모양 전이 등의 구조적 왜곡을 줄였다.
• MST는 경쟁적인 추론 속도를 달성한다. MST-1은 AvatarNet 및 WCT보다 빠르며, 더 큰 K를 사용하더라도 CPU 기반 클러스터링 덕분에 계산량 증가에도 불구하고 실용적인 성능 유지를 한다.