[논문 리뷰] Diversified Arbitrary Style Transfer via Deep Feature Perturbation

Zhizhong Wang, Lei Zhao외 6명|arXiv (Cornell University)|2019. 09. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 9

한 줄 요약

이 논문은 학습이 필요 없는 방법인 딥 페처 퍼터베이션(DFP)을 제안한다. DFP는 원본 스타일을 유지하기 위해 그램 행렬의 불변성을 활용하면서, 깊이 있는 특징 맵에 직교 랜덤 노이즈를 적용하여 임의의 스타일 전이에서 다양성을 향상시킨다. WCT 기반 방법에 통합된 DFP는 품질 저하 없이 결과의 다양성을 크게 향상시키며, 확장성과 일반화 능력에서 학습 기반 대안들을 능가한다.

ABSTRACT

Image style transfer is an underdetermined problem, where a large number of solutions can satisfy the same constraint (the content and style). Although there have been some efforts to improve the diversity of style transfer by introducing an alternative diversity loss, they have restricted generalization, limited diversity and poor scalability. In this paper, we tackle these limitations and propose a simple yet effective method for diversified arbitrary style transfer. The key idea of our method is an operation called deep feature perturbation (DFP), which uses an orthogonal random noise matrix to perturb the deep image feature maps while keeping the original style information unchanged. Our DFP operation can be easily integrated into many existing WCT (whitening and coloring transform)-based methods, and empower them to generate diverse results for arbitrary styles. Experimental results demonstrate that this learning-free and universal method can greatly increase the diversity while maintaining the quality of stylization.

연구 동기 및 목표

• 최적화나 고정된 네트워크 동작으로 인해 기존 스타일 전이 방법들이 종종 유사한 출력으로 수렴하는 문제를 해결한다.
• 이전의 학습 기반 다양성 방법의 한계를 극복한다. 이는 새로운 스타일로의 일반화 능력 제한, 다양성의 크기 제한, 낮은 확장성 등이 포함된다.
• 재훈련이나 아키텍처 변경 없이도, 보편적이고 즉각 사용 가능한 메커니즘을 통해 임의의 스타일 전이에서 높은 다양성을 제공한다.
• 동일한 콘텐츠와 스타일 입력에 대해 시각적으로 구분 가능한 출력을 생성하면서도 높은 스타일 전이 품질을 유지한다.

제안 방법

• 딥 페처 퍼터베이션(DFP)을 도입한다. DFP는 콘텐츠 이미지의 깊이 있는 특징 맵에 화이트닝 이후 직교 랜덤 노이즈 행렬을 적용하여 원본 스타일의 그램 행렬을 유지한다.
• 콘텐츠와 스타일 특징을 분리할 수 있도록 WCT 프레임워크(화이트닝 및 칼라링 변환)를 활용하여, 스타일 표현 방식을 변경하지 않은 채 콘텐츠 전용 특징 공간에서 퍼터베이션을 수행한다.
• 퍼터베이션된 특징이 원본과 동일한 그램 행렬을 유지하도록 보장함으로써, 스타일은 그대로 유지되면서 질감, 구조 또는 외관에서 다름을 보이는 스타일 전이 출력을 보장한다.
• 기존의 WCT 기반 방법(예: [19], [26], [20])에 DFP를 플러그인 모듈로 통합하여, 핵심 네트워크를 재훈련하거나 수정하지 않고도 다양한 출력을 생성할 수 있도록 한다.
• 표준 정규분포 또는 균일분포에서 샘플링된 직교 노이즈 행렬을 사용하며, 실험 결과에 따르면 다양성의 핵심 요소는 샘플링 분포가 아니라 노이즈 행렬의 직교성임을 확인했다.
• DFP는 추론 단계에서만 적용되므로, 학습이 전혀 필요 없으며 실시간, 스타일에 관계없는 스타일 전이 파이프라인과 호환된다.

실험 결과

연구 질문

• RQ1 재훈련이나 스타일 전용 학습 없이도, 임의의 스타일 전이에서 높은 다양성을 달성할 수 있는가?
• RQ2 그램 행렬을 유지하면서 깊이 있는 특징을 퍼터베이션하는 것이 시각적으로 구분 가능하고 의미 있는 스타일 전이 출력을 생성하는가?
• RQ3 확장성, 일반화 능력, 다양성의 크기 측면에서 DFP는 학습 기반 다양성 방법보다 어떻게 비교되는가?
• RQ4 DFP는 아키텍처나 훈련 수정 없이도 다양한 WCT 기반 스타일 전이 방법에 보편적으로 적용 가능한가?
• RQ5 DFP는 다양성을 높이면서도 스타일 전이 품질을 유지하는가? 특히 사진 수준의 현실감 있는 스타일 전이나 의미론적 수준의 스타일 전이에서 그러한가?

주요 결과

• DFP는 기존 WCT 기반 방법 대비 평균 LPIPS 및 픽셀 단위 거리가 크게 증가함에 따라 스타일 전이 출력의 다양성을 크게 향상시킨다.
• DFP를 통합한 방법(예: [19]+DFP)은 학습 기반 방법 [18] 및 [30]보다 훨씬 높은 다양성 점수를 기록하며, 이는 미세한 시각적 차이에 불과한 변형을 생성하기 때문이다.
• 다양한 WCT 기반 방법(예술적, 의미론적 수준, 사진 수준의 현실감 있는 스타일 전이 포함) 전반에 걸쳐 일관된 다양성 향상이 관찰되어 광범위한 적용 가능성을 입증한다.
• 높은 노이즈 강도일지라도 DFP는 콘텐츠 품질 저하나 아티팩트 증폭을 보이는 랜덤 노이즈 기반 베이스라인과는 달리 높은 스타일 전이 품질을 유지한다.
• 다양성의 핵심 요소는 노이즈 행렬의 직교성이며, 샘플링 분포가 아니라 그 자체이다. 직교 노이즈는 스타일 왜곡 없이 특징 공간을 퍼터베이션한다.
• 비록 [20]에서 스무딩 단계로 세부 정보가 감소하지만, DFP는 여전히 다양성을 향상시키며, [19]에 비해 다소 낮은 정도의 향상이지만 품질과 다양성 간의 상충 관계를 보여준다.