[논문 리뷰] GENHOP: An Image Generation Method Based on Successive Subspace Learning

Xuejing Lei, Wei Wang외 1명|arXiv (Cornell University)|2022. 10. 07.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

GENHOP는 연속적인 부분공간 학습 기반의 딥러닝 미사용 이미지 생성 방법으로, 차원 축소, 흰색 가우시안 노이즈를 사용한 시드 이미지 생성, 그리고 국소선형임bedding(LLE)과 역변환을 활용한 점진적 세부 사항 복구를 통해 고품질의 이미지를 생성한다. MNIST, Fashion-MNIST, CelebA에서 최신 기준(FID) 점수를 기록하며, 많은 딥러닝 기반 모델들을 능가한다.

ABSTRACT

Being different from deep-learning-based (DL-based) image generation methods, a new image generative model built upon successive subspace learning principle is proposed and named GenHop (an acronym of Generative PixelHop) in this work. GenHop consists of three modules: 1) high-to-low dimension reduction, 2) seed image generation, and 3) low-to-high dimension expansion. In the first module, it builds a sequence of high-to-low dimensional subspaces through a sequence of whitening processes, each of which contains samples of joint-spatial-spectral representation. In the second module, it generates samples in the lowest dimensional subspace. In the third module, it finds a proper high-dimensional sample for a seed image by adding details back via locally linear embedding (LLE) and a sequence of coloring processes. Experiments show that GenHop can generate visually pleasant images whose FID scores are comparable or even better than those of DL-based generative models for MNIST, Fashion-MNIST and CelebA datasets.

연구 동기 및 목표

• 딥러닝 기반 방법의 투명하지 않은 성질을 피하는 비딥러닝 이미지 생성 모델을 개발하는 것.
• 복잡한 고차원 픽셀 상관관계로부터 현실적인 이미지를 생성하는 과제를 해결하는 것.
• 구조적인 부분공간 학습과 가역 변환을 통해 수학적으로 해석 가능한 이미지 생성을 가능하게 하는 것.
• 이미지 품질과 다양성 측면에서 최신 기준 딥러닝 기반 생성 모델과 비교해도 경쟁력 있거나 뛰어난 성능을 달성하는 것.
• 종단간 딥러닝 없이 고해상도이자 의미적으로 유의미한 이미지를 생성할 수 있는지의 가능성을 탐색하는 것.

제안 방법

• GENHOP는 채널별 Saab 변환을 순차적으로 적용하여 고차원에서 저차원으로의 차원 축소를 수행하며, 상관관계가 감소한 연속적인 부분공간을 생성한다.
• 저차원 부분공간에서 흰색 가우시안 노이즈를 사용해 시드 이미지를 생성함으로써 다양성과 통계적 취급 가능성 확보.
• 차원 확장 과정에서 국소선형임bedding(LLE)을 활용해 고주파 성분을 복구하여 공간적 세부 사항을 복원한다.
• 역변환 Saab 변환을 적용해 픽셀 수준의 상관관계를 복원하고, 저차원 표현에서 원본 해상도의 이미지를 재구성한다.
• 이 방법은 차원 축소 및 확장의 여러 단계를 거쳐 이미지의 구조와 질감을 점진적으로 정교화한다.
• 컬러 이미지(CelebA)의 경우 픽셀 단위의 주성분분석(PCA)을 사용해 RGB 채널을 분리하고, 두 주요 성분(P와 Q)에 대해 LLE를 적용해 제3의 성분(R)을 재구성한다.

실험 결과

연구 질문

• RQ1 비딥러닝 기반 이미지 생성 모델이 최신 기준 딥러닝 기반 모델과 비교해 유사하거나 뛰어난 성능을 낼 수 있는가?
• RQ2 연속적인 부분공간 학습을 어떻게 활용해 종단간 학습 없이 다양하고 현실적인 이미지를 생성할 수 있는가?
• RQ3 차원 확장 과정에서 국소선형임bedding(LLE)이 세밀한 이미지 세부 사항을 어느 정도 복원할 수 있는가?
• RQ4 역변환 Saab 변환이 차원 축소 과정에서 잃어버린 공간-스펙트럼 상관관계를 효과적으로 복원할 수 있는가?
• RQ5 MNIST, Fashion-MNIST, CelebA와 같이 복잡도가 다른 데이터셋에서 이 방법의 성능은 어떠한가?

주요 결과

• GENHOP는 MNIST 데이터셋에서 FID 점수 5.1을 기록하여 비교된 모든 모델 중 가장 낮은 점수를 기록했다.
• Fashion-MNIST에서 GENHOP는 FID 점수 18.1을 기록해 모든 모델 중 두 번째로 높은 순위를 기록했으며, 질감과 클래스별 세부 사항을 잘 포착한 것으로 나타났다.
• CelebA에서 GENHOP는 FID 점수 40.3을 기록해 두 번째로 우수한 성능을 보였으며, 대부분의 생성 이미지가 의미적으로 유의미하고 현실적인 것으로 평가되었다.
• MNIST에서 GENHOP는 다양한 구조적 정확도를 가진 숫자를 성공적으로 생성했으며, 샘플 간 일관된 형태를 유지했다.
• Fashion-MNIST에서 생성된 이미지들은 신발의 현실적인 질감과 티셔츠의 정확한 인쇄를 잘 구현해 효과적인 세부 사항 복원 능력을 보였다.
• 주요 한계로는 LLE의 국소적 성질과 복원 과정에서의 전역적 맥락 부족으로 인해 일부 CelebA 샘플에서 자연스럽지 않은 색조가 발생한 점이 지적되었다.