[논문 리뷰] Semi-Parametric Neural Image Synthesis

Andreas Blattmann, Robin Rombach외 3명|arXiv (Cornell University)|2022. 04. 25.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 소규모 확산 또는 자동회귀 생성 모델과 외부 이미지 데이터베이스 및 검색 기반 메커니즘을 조합한 반모수적 접근법을 제안한다. 학습 및 추론 중에 데이터베이스의 가장 가까운 이웃에 조건을 줌으로써, 모델은 훨씬 적은 파라미터로 최신 기준 FID 점수를 달성하며, 재학습 없이도 제로샷 도메인 전이, 텍스트 기반 이미지 생성 및 스타일 전이를 가능하게 한다.

ABSTRACT

Novel architectures have recently improved generative image synthesis leading to excellent visual quality in various tasks. Much of this success is due to the scalability of these architectures and hence caused by a dramatic increase in model complexity and in the computational resources invested in training these models. Our work questions the underlying paradigm of compressing large training data into ever growing parametric representations. We rather present an orthogonal, semi-parametric approach. We complement comparably small diffusion or autoregressive models with a separate image database and a retrieval strategy. During training we retrieve a set of nearest neighbors from this external database for each training instance and condition the generative model on these informative samples. While the retrieval approach is providing the (local) content, the model is focusing on learning the composition of scenes based on this content. As demonstrated by our experiments, simply swapping the database for one with different contents transfers a trained model post-hoc to a novel domain. The evaluation shows competitive performance on tasks which the generative model has not been trained on, such as class-conditional synthesis, zero-shot stylization or text-to-image synthesis without requiring paired text-image data. With negligible memory and computational overhead for the external database and retrieval we can significantly reduce the parameter count of the generative model and still outperform the state-of-the-art.

연구 동기 및 목표

• 이미지 생성을 위한 파rametric 모델의 규모를 늘리는 기존의 패러다임에 도전하며, 이는 과도한 계산 자원을 요구하고 접근성을 제한한다.
• 끊임없이 커지는 파rametric 표현에 공통적인 시각적 개념을 압축하는 비효율성을 해결하기 위해 외부 비파라미터 메모리의 활용을 시도한다.
• 재학습 없이도 훈련된 모델을 새로운 도메인(예: 제로샷 스타일 전이)에 후행적으로 적응시킬 수 있도록, 단지 검색 데이터베이스만 교체함으로써 가능하게 한다.
• 매우 낮은 파라미터 수로 경쟁 가능한 생성 성능를 달성하면서도 검색으로 인한 계산 오버헤드를 최소화한다.

제안 방법

• CLIP의 공유 텍스트-이미지 임베딩 공간을 활용해 외부 이미지 데이터베이스에서 검색된 가장 가까운 이웃에 조건을 줌으로써, 소규모 확산 또는 자동회귀 생성 모델을 훈련한다.
• scaNN를 통한 확장 가능한 근처 이웃(ANN) 검색을 활용해 CLIP 잠재 공간에서 1ms 이내에 최대 20개의 가장 가까운 이웃을 효율적으로 검색한다.
• 검색된 가장 가까운 이웃의 평탄화되고 래스터 스캔된 잠재 표현(예: 8×8×256 크기의 4개의 이웃 → 64×1024 입력)에 대한 교차 어텐션을 통해 생성 모델을 조건화한다.
• 검색된 예시들에 기반해 구성 및 편집에 집중하도록 함으로써, 생성 모델이 콘텐츠를 기억할 필요성을 제거한다.
• 추론 시 훈련 데이터베이스를 새로운 데이터베이스(예: WikiArt)로 교체함으로써 제로샷 일반화를 가능하게 하며, 동일한 모델이 스타일화되거나 텍스트 조건이 부여된 이미지를 생성할 수 있도록 한다.
• 모델 전용 샘플링 기법(예: 확산 모델의 분류기 자유 가이던스, 자동회귀 모델의 top-k 샘플링)을 검색 기반 조건화와 통합한다.

실험 결과

연구 질문

• RQ1 큰 외부 이미지 데이터베이스와 검색 메커니즘을 보완으로 사용할 때, 소규모 파라미터 기반 생성 모델이 최신 기준 이미지 합성 성능를 달성할 수 있는가?
• RQ2 학습 데이터셋(예: ImageNet)에서 훈련된 모델이 검색 데이터베이스만 교체함으로써 재학습 없이도 새로운 도메인(예: 예술 스타일)으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 검색 기반 생성은 거대한 파라미터 수를 줄이면서도 샘플 품질과 다양성은 유지하거나 향상시키는가?
• RQ4 CLIP 텍스트 임베딩과 함께 검색된 이미지 이웃에 조건을 줄 경우, 미리 보지 못한 또는 허구적인 텍스트 프롬프트로의 일반화에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 하나의 고정된 파라미터 기반 생성기로 텍스트 기반 이미지 생성, 클래스 조건부 생성, 제로샷 스타일 전이 등 여러 조건부 생성 작업을 지원할 수 있는가?

주요 결과

• 검색 기반 확산 모델(RDM)은 ImageNet에서 Fréchet Inception Distance(FID) 5.69를 기록하며, 무조건적 최신 기준 ADM 모델(FID 6.25)을 능가하지만, 훨씬 적은 파라미터를 사용한다.
• RDM 모델은 클래스 조건부 ADM 모델보다 FID에서 뛰어난 성능(5.69 vs. 6.25)을 보이며, 학습 중에 클래스 레이블을 사용하지 않았음에도 불구하고 성능을 달성한다.
• 훈련 데이터베이스를 WikiArt 데이터셋으로 교체함으로써, 동일한 RDM 모델이 제로샷 스타일 전이를 구현하며, 미세조정 없이도 다양한 고해상도의 이미지를 텍스트 프롬프트에서 생성할 수 있다.
• CLIP 텍스트 임베딩과 그 가장 가까운 이웃에 조건을 줌으로써, 모델은 '표범 피부를 가진 판다'와 같은 미리 보지 못한 허구의 텍스트 프롬프트로도 효과적으로 일반화되지만, 단지 텍스트 임베딩에 의존할 경우 실패한다.
• 검색 메커니즘은 추론 지연에 단지 0.95ms 추가하고, 100만 장의 이미지당 2GB의 스토리지만 소모하여 높은 성능에도 불구하고 거의 무시할 수 있는 오버헤드를 보인다.
• 자기회귀 검색 모델(RARM) 역시 매우 낮은 파라미터 수로 우수한 성능을 달성하며, 다양한 고해상도 샘플을 생성하고, 제어된 생성을 위한 top-k 샘플링을 지원한다.