[논문 리뷰] Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis

Dmitry Ulyanov, Andrea Vedaldi외 1명|arXiv (Cornell University)|2017. 01. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 시각적 품질을 향상시키기 위해 피드포워드 신경망에 인스턴스 정규화를 도입하고, Julesz 집합 기반의 다양성 장려 학습 목표를 제안함으로써 이미지 스타일 전이 및 텍스처 합성의 성능을 향상시킨다. 그 결과, 최적화 기반 방법의 성능에 가까운 실시간 추론 속도를 유지하면서도 더 빠르고 고화질이며 더 다양한 스타일화된 이미지와 텍스처를 생성할 수 있다.

ABSTRACT

The recent work of Gatys et al., who characterized the style of an image by the statistics of convolutional neural network filters, ignited a renewed interest in the texture generation and image stylization problems. While their image generation technique uses a slow optimization process, recently several authors have proposed to learn generator neural networks that can produce similar outputs in one quick forward pass. While generator networks are promising, they are still inferior in visual quality and diversity compared to generation-by-optimization. In this work, we advance them in two significant ways. First, we introduce an instance normalization module to replace batch normalization with significant improvements to the quality of image stylization. Second, we improve diversity by introducing a new learning formulation that encourages generators to sample unbiasedly from the Julesz texture ensemble, which is the equivalence class of all images characterized by certain filter responses. Together, these two improvements take feed forward texture synthesis and image stylization much closer to the quality of generation-via-optimization, while retaining the speed advantage.

연구 동기 및 목표

• Gatys 등이 제안한 최적화 기반 방법과 같은 느린 방법과 비교해 빠른 피드포워드 스타일 전이 네트워크의 시각적 품질 격차를 해소한다.
• 기존의 피드포워드 네트워크가 빠르지만 출력 다양성이 제한된 점을 개선하여 생성된 텍스처와 스타일화된 이미지의 다양성을 향상시킨다.
• 생성자 네트워크가 Julesz 집합에서 균일하게 샘플링하도록 유도하는 학습 설정을 개발한다.
• 구조적 변경과 새로운 학습 목표가 추론 속도를 유지하면서도 품질과 다양성 양측을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 스타일 전이에 특히 적합하게 배치 정규화를 인스턴스 정규화로 대체하여 콘텐츠 의존적 특징을 더 잘 정규화하고 학습 안정성 및 성능을 향상시킨다.
• 생성된 분포와 Julesz 집합 상의 준균일 분포 간의 칼리브라-라이블러 발산을 최소화하는 학습 목표를 설정하여 다양성을 장려한다.
• 다양성 유도 목표의 엔트로피를 미분 가능한 비모수 추정기로 추정하여 엔드 투 엔드 학습이 가능하게 한다.
• 엔트로피 항을 손실 함수에 음의 엔트로피 페널티로 통합하여 재구성 정밀도와 다양성 간의 균형을 하이퍼파rameter λ로 조절한다.
• 표준 스타일 재구성 손실(기존 Gatys 등의 방법과 유사)에서 생성 샘플의 추정 엔트로피를 λ 배수로 빼는 복합 손실을 사용하여 생성자 네트워크를 훈련시킨다.
• 노이즈 z를 생성자 g(x₀, z)의 랜덤 시드로 사용하여 동일한 콘텐츠 이미지 x₀에 대해 z를 다양하게 설정함으로써 다양한 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 배치 정규화 대비 인스턴스 정규화가 피드포워드 스타일 전이 네트워크의 시각적 품질을 크게 향상시키는가?
• RQ2 Julesz 집합에서 균일하게 샘플링하도록 장려하는 학습 목표가 더 다양한 텍스처와 스타일화된 이미지 생성에 기여하는가?
• RQ3 인스턴스 정규화와 엔트로피 기반 다양성 정규화의 조합이 최적화 기반 방법의 품질에 도달하면서도 실시간 추론 속도를 유지하는가?
• RQ4 다양성 하이퍼파rameter λ가 텍스처 및 스타일 전이 네트워크에서 시각적 정밀도와 출력 다양성 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 이러한 방법으로 훈련된 피드포워드 네트워크가 느린 반복 최적화 기법의 인지적 품질에 얼마나 가까이 도달할 수 있는가?

주요 결과

• 인스턴스 정규화는 스타일 전이 네트워크의 학습 수렴과 시각적 품질을 크게 향상시키며, StyleNet IN은 StyleNet BN보다 낮은 학습 손실과 더 우수한 정성적 결과를 달성한다.
• 인스턴스 정규화는 생성자 네트워크가 더 좋은 초기화 지점에서 최적화를 시작할 수 있도록 해주어 고품질 결과에 도달하기 위한 최적화 단계 수를 줄인다.
• 엔트로피 기반 다양성 정규화는 고용량 생성자 네트워크인 TextureNetV2가 시각적 품질을 희생시키지 않고도 다양한 출력을 생성할 수 있도록 해주며, 기존 훈련 방식은 모드 붕괴를 초래하는 반면 이는 피한다.
• 적절하게 λ를 튜닝하면 다양성 항이 모드 붕괴를 효과적으로 방지하고 다양한 고정밀도 텍스처 및 스타일화된 이미지를 생성하지만, 너무 높은 λ 값은 잡음과 같은 잡음 요소를 유발한다.
• 제안된 방법은 Gatys 등이 제안한 느린 최적화 기반 방법과 비슷한 시각적 품질을 달성하며, 인간 관찰자가 새로운 방법의 결과를 기존의 빠른 네트워크보다 선호하는 정성적 비교를 통해 이를 확인했다.
• 이 방법은 실시간 추론 속도를 유지하며, 생성자 네트워크가 단일 순방향 전파로 스타일화된 이미지와 텍스처를 생성하여 반복 최적화보다 약 1000배 빠른 속도를 달성한다.