[논문 리뷰] Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter

Guilin Liu, Rohan Taori외 7명|arXiv (Cornell University)|2020. 07. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 6

한 줄 요약

이 논문은 입력 텍스처의 인코딩된 특징 맵을 전치 합성곱 필터로 사용하고, 그 자체 유사성 맵을 입력으로 사용하는 보편적인 텍스처 합성 방법인 Transposer를 제안한다. 전치 합성곱을 활용해 전역적이고 구조 인식 가능한 합성을 구현함으로써, 재학습 없이도 새로운 텍스처에 대해 단일 패assing 추론을 통해 최신 기술 수준(SOTA) 성능을 달성하며, 재학습 없이도 빠르고 다양한, 확장 가능한 생성이 가능하다.

ABSTRACT

Conventional CNNs for texture synthesis consist of a sequence of (de)-convolution and up/down-sampling layers, where each layer operates locally and lacks the ability to capture the long-term structural dependency required by texture synthesis. Thus, they often simply enlarge the input texture, rather than perform reasonable synthesis. As a compromise, many recent methods sacrifice generalizability by training and testing on the same single (or fixed set of) texture image(s), resulting in huge re-training time costs for unseen images. In this work, based on the discovery that the assembling/stitching operation in traditional texture synthesis is analogous to a transposed convolution operation, we propose a novel way of using transposed convolution operation. Specifically, we directly treat the whole encoded feature map of the input texture as transposed convolution filters and the features' self-similarity map, which captures the auto-correlation information, as input to the transposed convolution. Such a design allows our framework, once trained, to be generalizable to perform synthesis of unseen textures with a single forward pass in nearly real-time. Our method achieves state-of-the-art texture synthesis quality based on various metrics. While self-similarity helps preserve the input textures' regular structural patterns, our framework can also take random noise maps for irregular input textures instead of self-similarity maps as transposed convolution inputs. It allows to get more diverse results as well as generate arbitrarily large texture outputs by directly sampling large noise maps in a single pass as well.

연구 동기 및 목표

• 기존의 딥러닝 기반 텍스처 합성 방법들이 각각의 새로운 텍스처에 대해 재학습이 필요로 하는 일반화 능력의 부족을 해결하기 위해.
• 기존의 컨volution 네트워크(CNN)에서 국소적 연산의 한계를 극복하여 텍스처 합성에 필수적인 장거리 구조적 의존성을 포착하지 못하는 문제를 해결하기 위해.
• 재학습 없이도 임의의 새로운 텍스처에 대해 단일 패assing 추론을 통해 실시간 성능을 달성하는 빠른 생성을 가능하게 하기 위해.
• 자기 유사성 맵(구조적 충실도)과 무작위 노이즈 맵(출력 다양성) 간의 상호 상충 관계를 탐색하기 위해.
• 정규 및 비정규 텍스처 모두에 일반화되며, 임의의 출력 크기를 지원하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 해당 방법은 입력 텍스처의 인코딩된 특징 맵을 전치 합성곱 필터로 사용하며, 학습 가능한 필터를 고정된, 콘텐츠에 특화된 필터로 대체한다.
• 인코딩된 특징에서 자기 유사성 맵을 계산하여 텍스처 전반의 자기상관관계와 공간적 관계를 포착한다.
• 자기 유사성 맵은 전치 합성곱의 입력으로 사용되어 전역적이고 구조 인식 가능한 특징 전파를 가능하게 한다.
• 다양한 출력을 얻기 위해 자기 유사성 맵 대신 무작위 노이즈 맵을 입력으로 사용하여 확률적 생성을 가능하게 한다.
• 큰 노이즈 맵을 단일 전방 전파에서 직접 샘플링함으로써, 임의의 출력 크기를 지원한다.
• 다양한 스케일의 특징 공간에서 작동하여 다중 스케일 텍스처 조립을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 텍스처 합성 방법이 재학습 없이도 새로운 텍스처에 일반화될 수 있는가?
• RQ2 전치 합성곱이 특징 맵을 필터로 사용하여 전역적이고 구조 인식 가능한 텍스처 합성을 수행할 수 있는가?
• RQ3 자기 유사성 맵을 입력으로 사용할 때와 무작위 노이즈 맵을 사용할 때의 구조적 충실도와 출력 다양성 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 해당 방법은 단일 전방 전파에서 임의의 크기의 텍스처 출력을 생성할 수 있는가?
• RQ5 희박하거나 매우 비정상적인 텍스처를 처리할 때의 방법의 한계는 무엇인가?

주요 결과

• Transposer는 표준 및 고안된 메트릭을 포함한 여러 메트릭에서 최신 기술 수준의 텍스처 합성 품질을 달성한다.
• 입력보다 4배 큰 텍스처를 전방 전파당 수십~수백 밀리초 내에 생성할 수 있으며, 최적화 기반 방법보다 훨씬 빠르다.
• 자기 유사성 맵을 사용할 경우 규칙적인 구조적 패턴이 유지되며, 무작위 노이즈 맵을 사용할 경우 다양한 결과를 생성하고 임의의 크기의 출력 생성을 지원한다.
• 절단 실험 결과, 학습 가능한 필터를 사용하는 기존의 전치 합성곱 레이어는 일반화에 실패하여 단순히 입력을 확대할 뿐이며, Transposer의 구조 인식 합성과는 다름을 확인하였다.
• pix2pixHD, WCT, SinGAN, DeepTexture와 같은 기존 방법들보다 속도와 품질 면에서 모두 뛰어나며, 추론 시간이 수개의 주기보다 훨씬 빠르게 된다.
• 희박하거나 얇은 구조를 가진 경우 실패 케이스가 발생하여 방향성 또는 비정상적인 패턴을 포착하는 데 한계를 보이며, 향후 개선 여지가 있음을 시사한다.