[논문 리뷰] TGHop: An Explainable, Efficient and Lightweight Method for Texture Generation

Xuejing Lei, Ganning Zhao외 2명|arXiv (Cornell University)|2021. 07. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 5

한 줄 요약

TGHop는 고해상도에서 저해상도로의 계층적 부분공간 학습을 통해 텍스처 패치를 분석하고 재구성하는 경량이며 해석 가능하고 효율적인 텍스처 생성 방법을 제안한다. 이는 공간적 주성분 분석과 계층적 부분공간 간의 분포 매칭을 활용하여 소형 모델(240만 파라미터)로 높은 품질의 텍스처 합성과 빠른 추론을 달성한다.

ABSTRACT

An explainable, efficient and lightweight method for texture generation, called TGHop (an acronym of Texture Generation PixelHop), is proposed in this work. Although synthesis of visually pleasant texture can be achieved by deep neural networks, the associated models are large in size, difficult to explain in theory, and computationally expensive in training. In contrast, TGHop is small in its model size, mathematically transparent, efficient in training and inference, and able to generate high quality texture. Given an exemplary texture, TGHop first crops many sample patches out of it to form a collection of sample patches called the source. Then, it analyzes pixel statistics of samples from the source and obtains a sequence of fine-to-coarse subspaces for these patches by using the PixelHop++ framework. To generate texture patches with TGHop, we begin with the coarsest subspace, which is called the core, and attempt to generate samples in each subspace by following the distribution of real samples. Finally, texture patches are stitched to form texture images of a large size. It is demonstrated by experimental results that TGHop can generate texture images of superior quality with a small model size and at a fast speed.

연구 동기 및 목표

• 딥 러닝 기반의 텍스처 생성 방법들이 일반적으로 크고 계산 비용이 높으며 이론적 해석이 어려운 점을 해결한다.
• 높은 시각적 품질을 유지하면서도 수학적으로 투명한 경량이고 효율적인 텍스처 생성 프레임워크를 개발한다.
• 기존 GAN이나 CNN에서 흔히 볼 수 있는 엔드 투 엔드 역전파를 피함으로써 모델 크기를 줄이고 빠른 훈련 및 추론을 가능하게 한다.
• 이전 연구(NITES)를 개선하기 위해 공간적 주성분 분석과 부분공간 생성에 대한 체계적인 분석을 도입하여 더 높은 품질과 더 작은 모델 크기를 달성한다.

제안 방법

• 주어진 예시 텍스처에서 수많은 작은 패치를 추출하여 분석을 위한 소스 데이터셋을 구성한다.
• 픽셀 통계를 분석하고 순차적인 차원 축소를 적용함으로써, 픽셀호프++ 프레임워크를 사용해 미세한 해상도에서 거친 해상도로의 부분공간 시퀀스를 추출한다.
• 공간적 주성분 분석(PCA)을 사용해 공간 응답 간 상관관계를 제거하고 중복을 줄여 모델 압축을 가능하게 한다.
• 실제 샘플의 분포를 매칭하여 핵심 모델(ICHM 모듈을 갖춘)을 사용해 가장 거친 부분공간(핵심)에서부터 샘플을 생성한다.
• 부분공간 변환 경로를 역행하여 고해상도 패치를 점진적으로 재구성함으로써, 거친 해상도에서부터 미세한 해상도로 점차 증가시킨다.
• 겹치는 영역과 블렌딩 기법을 사용해 생성된 패치들을 조합하여 대규모 텍스처 이미지를 만든다.

실험 결과

연구 질문

• RQ1 대규모 딥 뉴럴 네트워크에 의존하지 않고도 경량이고 해석 가능한 텍스처 생성 방법을 설계할 수 있는가?
• RQ2 픽셀호프++를 통한 순차적 부분공간 학습은 텍스처 생성 품질과 모델 효율성에 어떻게 기여하는가?
• RQ3 공간적 주성분 분석은 이전 방법과 비교해 모델 크기와 생성 품질에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 기존의 GAN 또는 CNN 기반 접근법에 비해 훨씬 적은 파라미터로 경쟁 가능한 텍스처 품질을 달성할 수 있는가?
• RQ5 SDR의 임계값 파라미터 γ는 모델 크기와 텍스처 정밀도 사이의 상호 교환 관계에 어떤 영향을 미치는가?

주요 결과

• TGHop는 단지 240만 개의 파라미터로 뛰어난 텍스처 품질을 달성하였으며, [19] (852,000개)와 [24] (2,055,000개)와 같은 유사한 방법들보다 훨씬 작다.
• SDR 임계값 γ를 조정함으로써 모델 크기를 372만(γ=0)에서 19만(γ=0.1)으로 줄일 수 있으며, γ=0.04 이하에서는 품질 저하가 거의 없이 유지된다.
• TGHop에 공간적 주성분 분석을 도입함으로써 NITES와 비교해 모델 크기가 감소하고 텍스처 품질이 향상되었다. 이는 이전 방법이 이 요소를 포함하지 않았기 때문이다.
• 실험 결과, N=50개의 클러스터를 사용할 경우 과도한 포화 아티팩트가 발생하지만, N=100~200일 경우 더 나은 품질을 얻을 수 있으며, N=100을 초과하면 수익 감소 효과가 나타난다.
• 이 방법은 역전파가 없고 경량 아키텍처를 갖추고 있어 고속의 추론 속도를 보이며, 높은 품질의 텍스처 패치를 신속하게 생성한다.
• 시각적 결과는 TGHop가 편미로 감지되는 반복 패atters를 피하고, 텍스처의 정규성과 인간의 인지적 품질을 유지함을 확인한다.