[논문 리뷰] Diversified Patch-based Style Transfer with Shifted Style Normalization.

Zhizhong Wang, Lei Zhao외 5명|arXiv (Cornell University)|2021. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 4

한 줄 요약

이 논문은 고활성 패치를 기반으로 스타일 스위칭을 이끄는 고활성 패치를 활용하여 패치 기반 스타일 전이의 다양성을 향상시키는 새로운 기법인 Shifted Style Normalization (SSN)을 제안한다. 정규화 통계에 통제된 이동을 도입함으로써 기존의 패치 기반 방법들이 다수의 다양하고 고품질의 스타일 전이 결과를 효율적으로 생성할 수 있도록 하여, 다양성과 속도 면에서 최신 기술을 능가한다.

ABSTRACT

Gram-based and patch-based approaches are two important research lines of image style transfer. Recent diversified Gram-based methods have been able to produce multiple and diverse reasonable solutions for the same content and style inputs. However, as another popular research interest, the diversity of patch-based methods remains challenging due to the stereotyped style swapping process based on nearest patch matching. To resolve this dilemma, in this paper, we dive into the core style swapping process of patch-based style transfer and explore possible ways to diversify it. What stands out is an operation called shifted style normalization (SSN), the most effective and efficient way to empower existing patch-based methods to generate diverse results for arbitrary styles. The key insight is to use an important intuition that neural patches with higher activation values could contribute more to diversity. Theoretical analyses and extensive experiments are conducted to demonstrate the effectiveness of our method, and compared with other possible options and state-of-the-art algorithms, it shows remarkable superiority in both diversity and efficiency.

연구 동기 및 목표

• 고정된 최근접 이웃 패치 매칭으로 인해 일반적으로 일정한 결과를 낳는 패치 기반 스타일 전이의 다양성 부족 문제를 해결한다.
• 다양한 콘텐츠 및 스타일 입력이 주어져도 다양한 출력을 생성하지 못하는 기존 패치 기반 방법의 한계를 극복한다.
• 기존 패치 기반 모델의 핵심 아키텍처를 수정하지 않고도 다양성을 향상시킬 수 있는 경량이며 즉시 적용 가능한 솔루션을 개발한다.
• 고활성 패치를 다양성의 주요 원동력으로 삼는 스타일 전이에서의 이론적 및 실증적 기반을 마련한다.

제안 방법

• 신경 패치의 활성화 크기를 기반으로 특징 맵의 통계를 이동시킴으로써 통계를 수정하는 정규화 기법인 Shifted Style Normalization (SSN)을 도입한다.
• 다양성의 주요 기여자로 고활성 패치를 식별하고, 그 통계를 스타일 전이 과정을 이끄는 데 활용한다.
• 스태일 전이 추론 단계에서 SSN을 적용하여 표준 인스턴스 정규화를 대체하거나 보완함으로써 다양한 스타일 출력을 가능하게 한다.
• 재학습 없이도 기존 패치 기반 프레임워크에 원활하게 통합될 수 있도록 유연하고 기울기 기반의 효율적인 메커니즘을 설계한다.
• 활성화 강도에 기반한 정규화 이동이 다양한 스타일 표현 탐색을 촉진한다는 것을 이론적으로 정당화한다.
• 다양한 순차적 전파 동안의 다양성을 더욱 향상시키기 위해 이동된 정규화 파rameter에 대한 확률적 샘플링 전략을 구현한다.

실험 결과

연구 질문

• RQ1 기본 모델 아키텍처를 변경하지 않고도 패치 기반 스타일 전이에서 상당한 다양성을 달성할 수 있는가?
• RQ2 신경 패치의 활성화 크기는 생성된 스타일 전이 이미지의 다양성에 어떤 영향을 미치는가?
• RQ3 정규화 통계를 조절하여 더 다양한 스타일 전이 결과를 이끌어내는 원칙적인 방법이 존재하는가?
• RQ4 기존의 데이터 증강 또는 최적화 기반 다양성 기법과 비교할 때 SSN은 다양성과 효율성 면에서 어떻게 성과를 내는가?
• RQ5 SSN은 다양한 패치 기반 스타일 전이 모델에 일반적으로 적용 가능하며 일관된 향상을 이끌 수 있는가?

주요 결과

• SSN은 패치 기반 스타일 전이의 다양성을 크게 향상시켜 동일한 콘텐츠 및 스타일 입력으로부터 다수의 시각적으로 다른 결과를 생성한다.
• 추가 학습이나 최적화 없이도 최신 기술인 그램 기반 및 패치 기반 접근법보다 뛰어난 다양성을 달성한다.
• 광범위한 추상화 분석을 통해 고활성 패치가 다양성의 주요 원동력임을 확인하여 SSN의 핵심 통찰을 검증한다.
• SSN은 최소한의 계산 오버헤드를 유지하여 실시간 및 구현 환경에 적합한 높은 효율성을 확보한다.
• 이론적 분석을 통해 SSN은 정규화에 통제된 분산을 도입하여 다양한 스타일 표현 탐색을 가능하게 한다.
• 실증 결과는 SSN이 다양성 지표와 시각적 품질 면에서 다른 정규화 기반 다양화 전략보다 뛰어나다는 것을 보여준다.