[논문 리뷰] NITES: A Non-Parametric Interpretable Texture Synthesis Method

Xuejing Lei, Ganning Zhao외 1명|arXiv (Cornell University)|2020. 09. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 10

한 줄 요약

NITES는 텍스처 패치의 공동 공간-스펙트럼 통계를 모델링하기 위해 채널별 Saab 변환을 통한 순차적 부분공간 임bedding을 사용하는 비모수적이고 해석 가능한 텍스처 합성 방법을 제안한다. 이는 딥러닝 기반 기준 대비 훨씬 빠른 추론(256×256 이미지 기준 213초)을 달성하면서도 높은 품질의 다양성 있는 텍스처 생성을 가능하게 하며, 수학적 투명성과 낮은 계산 비용을 유지한다.

ABSTRACT

A non-parametric interpretable texture synthesis method, called the NITES method, is proposed in this work. Although automatic synthesis of visually pleasant texture can be achieved by deep neural networks nowadays, the associated generation models are mathematically intractable and their training demands higher computational cost. NITES offers a new texture synthesis solution to address these shortcomings. NITES is mathematically transparent and efficient in training and inference. The input is a single exemplary texture image. The NITES method crops out patches from the input and analyzes the statistical properties of these texture patches to obtain their joint spatial-spectral representations. Then, the probabilistic distributions of samples in the joint spatial-spectral spaces are characterized. Finally, numerous texture images that are visually similar to the exemplary texture image can be generated automatically. Experimental results are provided to show the superior quality of generated texture images and efficiency of the proposed NITES method in terms of both training and inference time.

연구 동기 및 목표

• 딥러닝 기반 텍스처 합성 방법에서 수학적 투명성 부족과 높은 계산 비용 문제를 해결하기 위해.
• 딥 네트워크의 비모수적이고 해석 가능한 대안을 텍스처 합성에 개발하기 위해.
• 공동 공간-스펙트럼 공간에서의 순차적 부분공간 임베딩과 확률 모델링을 활용해 효율적인 학습 및 추론을 가능하게 하기 위해.
• 단일 예시로부터 페치 수준 통계만을 사용해 다양하고 시각적으로 현실적인 텍스처 이미지를 생성하기 위해.
• 데이터 기반의 투명한 프레임워크가 딥러닝 기반 방법과 동등하거나 이를 초월하는 품질의 텍스처 합성 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 메서드는 텍스처 패치에서 공동 공간-스펙트럼 표현을 추출하기 위해 채널별(c/w) Saab 변환을 사용하여 순차적 부분공간 학습을 가능하게 한다.
• S₀ ⊃ S₁ ⊃ ... ⊃ Sₙ의 부분공간 계층을 구성하며, S₀은 확장된 입력 공간이고 Sₙ은 핵심 부분공간이며, 점점 감소하는 차원을 가진다.
• 학습 샘플의 확률 분포는 핵심 부분공간에서 특성화되어, 학습된 분포에서의 샘플링을 통해 핵심 부분공간 생성이 가능해진다.
• 순차적 부분공간 생성은 하위차원 부분공간에서 상위차원 부분공간으로 조건부 확률 모델을 사용해 재구성함으로써 반복적으로 수행된다.
• 텍스처 이미지는 핵심 부분공간에서 패치를 생성하고, 이를 순차적 부분공간으로 상향 전파하며, 퀼팅 과정을 통해 조합함으로써 합성된다.
• 전방 임베딩 단계는 예시당 한 번만 수행되며, 이후 생성 과정에서는 이 모델을 재사용하여 빠른 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 비모수적이고 해석 가능한 방법이 딥러닝 수준의 품질을 달성하면서도 수학적 투명성을 유지할 수 있는가?
• RQ2 채널별 Saab 변환을 통한 순차적 부분공간 임베딩이 텍스처 합성의 효율성과 해석 가능성에 어떻게 기여하는가?
• RQ3 저차원 핵심 부분공간에서의 확률 모델링이 다양하고 고품질의 텍스처 생성을 가능하게 하는가?
• RQ4 제안된 프레임워크에서 부분공간 차원과 생성 품질 사이의 상충 관계는 어떠한가?
• RQ5 이 프레임워크는 이미지 복원이나 얼굴 생성과 같은 다른 이미지 생성 작업으로 확장될 수 있는가?

주요 결과

• NITES는 딥러닝 기반 방법(Gatys 등 [12])에서 관찰되는 ' browm 안개'와 같은 잡음 없이 고품질의, 미적으로 매력적인 텍스처 이미지를 생성한다.
• 256×256 이미지의 텍스처 생성 시간은 213.04초로, Gatys 등 [12]의 513.98초 및 Ustyuzhaninov 등 [17]의 949.64초보다 훨씬 빠르다.
• 역방향 생성 과정(핵심 부분공간에서 원천 부분공간으로)은 108.03초를 차지하며, 전방 임베딩은 24.24초, 퀼팅은 8.08초를 소요하여, 초기 설정 이후 추론이 매우 효율적임을 시사한다.
• NITES는 임bed된 모델을 재사용하고 생성 및 퀼팅 단계를 재실행함으로써 단일 예시에서 여러 개의 서로 다른 텍스처 이미지를 생성할 수 있다.
• 이 방법은 순차적 부분공간 학습 기반의 투명하고 비모수적 프레임워크가 딥러닝 수준의 합성 품질을 달성할 수 있으며, 더 높은 해석 가능성과 낮은 계산 비용을 제공함을 입증한다.
• 이 프레임워크는 일반화 가능하며, 이미지 복원 및 얼굴 또는 물체 합성과 같은 다른 이미지 생성 작업으로도 확장될 수 있다.