[논문 리뷰] Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks

Chuan Li, Michael Wand|arXiv (Cornell University)|2016. 04. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 17

한 줄 요약

이 논문은 마르코프 성질의 패치 통계를 단일 예시에서 학습함으로써 실시간 텍스처 합성을 가능하게 하는 마르코프 성질의 생성적 적대적 네트워크(MGANs)를 제안한다. 이 방법은 사전 계산된 순방향, 스트라이드 컨볼루션 네트워크를 사용하여, 0.25M 픽셀 이미지를 25Hz로 생성하며, 이는 이전의 신경망 기반 텍스처 합성 방법보다 500배 이상 빠르며, 적대적 훈련을 통해 높은 시각적 품질을 유지한다.

ABSTRACT

This paper proposes Markovian Generative Adversarial Networks (MGANs), a method for training generative neural networks for efficient texture synthesis. While deep neural network approaches have recently demonstrated remarkable results in terms of synthesis quality, they still come at considerable computational costs (minutes of run-time for low-res images). Our paper addresses this efficiency issue. Instead of a numerical deconvolution in previous work, we precompute a feed-forward, strided convolutional network that captures the feature statistics of Markovian patches and is able to directly generate outputs of arbitrary dimensions. Such network can directly decode brown noise to realistic texture, or photos to artistic paintings. With adversarial training, we obtain quality comparable to recent neural texture synthesis methods. As no optimization is required any longer at generation time, our run-time performance (0.25M pixel images at 25Hz) surpasses previous neural texture synthesizers by a significant margin (at least 500 times faster). We apply this idea to texture synthesis, style transfer, and video stylization.

연구 동기 및 목표

• 이미지당 수분에 달하는 최적화가 필요한 딥 뉴럴 네트워크 기반 텍스처 합성의 높은 계산 비용을 해결한다.
• 생성 시점의 반복 최적화를 제거하여 신경망 기반 텍스처 합성의 실시간 추론을 가능하게 한다.
• 최적화 기반 방법과 유사한 높은 시각적 품질을 유지하면서도 속도를 극적으로 향상시킨다.
• 한 번의 사전 계산된 모델로 텍스처 합성, 스타일 전이, 비디오 스타일라이제이션에 적용 가능한 프레임워크를 개발한다.
• 사전 훈련된 VGG 네트워크를 사용하여 동일한 콘텐츠의 다양한 표현 간의 매핑을 학습함으로써 콘텐츠 및 스타일에 대해 불변성을 확보한다.

제안 방법

• 사전 훈련된 VGG-19 네트워크의 마르코프 성질 패치의 특성 통계를 반전시키는 순방향, 스트라이드 컨볼루션 네트워크를 사전 계산한다.
• 최적화 기반 방법과 유사한 이미지 품질을 유지하기 위해 적대적 훈련을 사용한다.
• 반복 최적화 없이 직접 현실적인 텍스처를 복원하기 위해 brow noise를 입력으로 사용한다.
• 강력한 스타일 전이를 위해 VGG-19 네트워크의 ReLU4_1까지의 고수준 불변 특징을 활용한다.
• 블렌딩이나 추가 최적화 없이도 임의의 해상도의 이미지를 생성하기 위해 사전 계산된 네트워크를 적용한다.
• 단일 텍스처 예시와 다양한 ImageNet 이미지를 사용하여 일반화 가능하고 스타일에 특화된 특징 매핑을 학습한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 마르코프 성질 설정에서 효과적으로 적용되어 신속하고 순방향적인 생성 모델을 학습시켜 텍스처 합성을 가능하게 할 수 있는가?
• RQ2 사전 계산된 스트라이드 컨볼루션 네트워크가 신경망 기반 텍스처 합성에서 반복적인 디컨볼루션 기반 최적화를 얼마나 잘 대체할 수 있는가?
• RQ3 사전 계산된 생성 모델의 성능는 속도와 시각적 품질 측면에서 최적화 기반 방법과 비교해 어떻게 되는가?
• RQ4 이러한 모델은 다양한 콘텐츠 이미지 간에 목표 텍스처 스타일을 유지하면서 일반화될 수 있는가?
• RQ5 이러한 접근법이 얼굴 특징나 복잡한 레이아웃과 같은 비텍스처적이고 의미론적인 콘텐츠를 다룰 때의 한계는 무엇인가?

주요 결과

• MGAN 방법은 NVIDIA TitanX에서 512×512 이미지를 40ms(25Hz) 내로 생성하여, Li 등 [21]의 방법보다 500배 빠르고, Gatys 등 [8]의 방법보다 5000배 이상 빠르게 한다.
• 이 방법은 최적화 기반 접근법과 유사한 시각적 품질을 달성하며, 대규모 데이터로부터 학습함으로써 예시 텍스처와 더 일관된 결과를 제공한다.
• 512×512 이미지의 메모리 사용량은 약 2.5GB이며, 모델 파라미터 총량은 70MB로, VGG-19 네트워크의 ReLU4_1까지 포함된다.
• 모델은 인식 가능한 특징과 복잡한 콘텐츠를 가진 텍스처에서 가장 잘 작동하지만, 하늘이나 초점이 흐린 영역와 같은 평탄하거나 정적 영역에서는 어려움을 겪는다.
• 복잡한 콘텐츠에 대해 일관된 텍스처를 유지하는 데서 고전적인 가우시안 기반 모델 [8, 32]보다 우수하지만, 전반적인 색상 분포에서는 벗어날 수 있다.
• 모델은 얼굴 특징을 사진 간에 전이하지 못하며, 의미론적 이해가 부족함을 보여주며, 이는 비텍스처적 고수준 의미 콘텐츠 처리에서의 한계를 드러낸다.