[논문 리뷰] Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints

Gang Liu, Yann Gousseau외 1명|arXiv (Cornell University)|2016. 05. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 25

한 줄 요약

이 논문은 신경망의 특징과 푸리에 스펙트럼 제약 조건을 결합하여 일관된 대규모 구조를 가진 현실적인 텍스처를 생성하는 새로운 텍스처 합성 방법을 제안한다. CNN 손실 함수에 스펙트럼 제약 조건을 통합함으로써 세밀한 디테일을 유지하면서도 벽돌 벽이나 타일 패턴과 같은 준주기적 패턴의 규칙성을 향상시켜, 추가적인 계산 비용 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a significant improvement for the synthesis of texture images using convolutional neural networks (CNNs), making use of constraints on the Fourier spectrum of the results. More precisely, the texture synthesis is regarded as a constrained optimization problem, with constraints conditioning both the Fourier spectrum and statistical features learned by CNNs. In contrast with existing methods, the presented method inherits from previous CNN approaches the ability to depict local structures and fine scale details, and at the same time yields coherent large scale structures, even in the case of quasi-periodic images. This is done at no extra computational cost. Synthesis experiments on various images show a clear improvement compared to a recent state-of-the art method relying on CNN constraints only.

연구 동기 및 목표

• CNN 기반 텍스처 합성의 한계, 특히 벽돌 벽이나 타일 패턴과 같은 준주기적 텍스처에서 대규모 규칙성을 유지하지 못하는 문제를 해결하기 위해.
• 로컬 디테일은 유사하게 생성하지만 전반적인 구조적 일관성을 유지하지 못하는 기존의 CNN 전용 방법을 개선하기 위해.
• CNN 최적화 프레임워크에 푸리에 스펙트럼 제약 조건을 통합하면서 계산 복잡도를 증가시키지 않기 위해.
• 예시 패치를 그대로 복제하는 것을 방지하면서도 세밀한 디테일과 대규모 조직 구조를 모두 유지하는 진정으로 새로운 텍스처의 합성 가능성을 제공하기 위해.

제안 방법

• 이 방법은 CNN 특징 통계와 푸리에 스펙트럼 제약 조건을 조합하여 텍스처 합성을 제약 조건이 있는 최적화 문제로 공식화한다.
• Gatys 등 (2016)의 접근 방식을 따르며, 사전 훈련된 VGG-19 레이어의 특징 맵 상관 행렬을 CNN 기반 제약 조건으로 사용한다.
• 스펙트럼 제약 조건은 생성된 이미지의 푸리에 스펙트럼과 예시의 스펙트럼 간의 거리에 기반한 손실 함수를 통해 도입되며, 역 푸리에 변환을 사용해 계산된다.
• 총 손실 함수는 CNN 손실과 스펙트럼 손실의 가중 합으로 정의된다: $\mathcal{L} = \mathcal{L}_{CNN} + \beta \mathcal{L}_{spe}$, $\beta = 10^5$.
• 스펙트럼 손실의 기울기는 $\Delta_{spe} = \hat{I} - \tilde{I}$ 로 계산되며, $\tilde{I}$ 는 목표 스펙트럼의 역 푸리에 변환이다.
• 생성된 이미지를 최적화하기 위해 L-BFGS 알고리즘을 사용하며, CNN 및 스펙트럼 구성 요소의 기울기를 함께 통합한다.

실험 결과

연구 질문

• RQ1 푸리에 스펙트럼 제약 조건은 준주기적 텍스처에 특히 효과적으로 CNN 기반 텍스처 합성의 전반적인 구조적 일관성을 향상시킬 수 있는가?
• RQ2 스펙트럼 제약 조건을 추가하면 CNN가 유지하는 로컬 텍스처 디테일의 품질이 떨어지는가?
• RQ3 CNN 최적화 파이프라인 내에서 스펙트럼 제약 조건을 통합하는 것이 계산적으로 가능하며, 런타임을 증가시키지 않는가?
• RQ4 감각적 품질과 구조적 충실도 측면에서 기존의 최신 기술 수준의 CNN 전용 방법과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 복잡한 비주기적 텍스처로 일반화할 수 있으며, 존재하는 경우 규칙성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 CNN 구성 요소에서 유래한 세밀한 스케일의 디테일과 로컬 구조를 유지하면서도, 벽돌 벽이나 타일 패턴과 같은 준주기적 텍스처에서 대규모 일관성을 크게 향상시킨다.
• [14]의 CNN 전용 기준선과 비교해 볼 때, 체크무늬, 벽돌 벽, 창문이 있는 건물 등에서 더 규칙적이고 구조적인 결과를 생성하며, 전반적인 조직의 잡음 요소가 감소한다.
• CNN 전용 방법이 잘 작동하는 텍스처에서는 스펙트럼 제약 조건이 성능을 떨어뜨리지 않아, 강건성과 호환성을 입증한다.
• 계산 효율성을 유지하여, 각 합성 실험은 4코어 CPU에서 약 15분이 소요되며, CNN 추론 대비 FFT 계산의 비용이 극히 낮기 때문이다.
• Zellige 타일과 같은 복잡한 장식 패턴의 경우, 전반적인 패턴 일관성이 향상되지만, 매우 불규칙한 구조에서는 일부 로컬 결함이 지속될 수 있다.
• 매우 복잡한 텍스처에서 실패한 경우에도, 방법은 여전히 구조적인 출력을 생성하지만, 정교한 소규모 요소를 완전히 재현하지 못한다.