[논문 리뷰] Image Generation From Small Datasets via Batch Statistics Adaptation

Atsuhiro Noguchi, Tatsuya Harada|arXiv (Cornell University)|2019. 04. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 16

한 줄 요약

이 논문은 전학습된 생성기의 배치 정규화 스케일 및 시프트 파라미터만 미세조정하면서 모든 합성곱 커널 가중치를 冻결한 채로, 매우 소규모 데이터셋(최소 25장의 이미지)에서도 고품질의 이미지를 생성하는 방법을 제안한다. 이 방법은 안정적인 훈련을 가능하게 하며 원래의 생성 품질을 유지하고, 치명적인 잊음 없이 저샷 도메인 추가를 지원한다.

ABSTRACT

Thanks to the recent development of deep generative models, it is becoming possible to generate high-quality images with both fidelity and diversity. However, the training of such generative models requires a large dataset. To reduce the amount of data required, we propose a new method for transferring prior knowledge of the pre-trained generator, which is trained with a large dataset, to a small dataset in a different domain. Using such prior knowledge, the model can generate images leveraging some common sense that cannot be acquired from a small dataset. In this work, we propose a novel method focusing on the parameters for batch statistics, scale and shift, of the hidden layers in the generator. By training only these parameters in a supervised manner, we achieved stable training of the generator, and our method can generate higher quality images compared to previous methods without collapsing, even when the dataset is small (~100). Our results show that the diversity of the filters acquired in the pre-trained generator is important for the performance on the target domain. Our method makes it possible to add a new class or domain to a pre-trained generator without disturbing the performance on the original domain.

연구 동기 및 목표

• 소규모 이미지 데이터셋(~100장 이하)만 존재할 때 고품질 생성 모델을 훈련하는 데 도전하는 것.
• 표준 GAN 훈련이 소규모 데이터셋에서 모드 붕괴와 일반화 부족을 초래하는 한계를 극복하는 것.
• 기존 도메인에서의 성능 저하 없이, 전학습된 생성기에 새로운 클래스나 도메인을 추가할 수 있도록 하는 것.
• 대규모 전학습된 생성기의 사전 지식을 활용하여 소규모이고 도메인 외부의 데이터셋에서 샘플 품질과 다양성을 향상시키는 것.

제안 방법

• BigGAN 또는 SNGAN와 같은 전학습된 생성기에서, 배치 정규화 레이어의 스케일 및 시프트 파라미터만 미세조정하여 소규모 타겟 데이터셋으로 지식을 전이한다.
• 훈련 중 모든 합성곱 커널 가중치를 고정하여 과적합을 방지하고 전학습된 모델의 일반화 능력을 유지한다.
• 고정된 생성기 아키텍처를 기반으로 GAN 손실을 최소화하면서, 소규모 타겟 데이터셋을 사용해 스케일 및 시프트 파라미터를 지도 학습 방식으로 훈련한다.
• 추론 시 트렁케이션 샘플링을 적용하여 특히 고해상도 설정에서 샘플 품질과 다양성을 향상시킨다.
• 조건부 및 비조건부 생성 작업 모두에 적용 가능하며, 서로 다른 이미지 도메인 간의 보간 및 도메인 모핑을 지원한다.
• BigGAN의 조건부 배치 정규화 레이어의 경우, 통계에 대한 L2 정규화 항을 생략한다. 내부 신경망이 충분한 정규화를 제공하기 때문이다.

실험 결과

연구 질문

• RQ1 전학습된 생성기를 소규모이고 도메인 외부의 데이터셋에 효과적으로 적응시키기 위해 배치 정규화 파라미터만 사용할 수 있는가?
• RQ2 스케일 및 시프트 파라미터만 미세조정하는 것이 원래 생성기의 성능을 유지하면서도 소규모 데이터셋에서 고품질의 이미지 생성을 가능하게 하는가?
• RQ3 원천 전학습 생성기의 필터 다양성이 타겟 도메인에서 생성된 이미지의 품질에 어떤 영향을 미치는가?
• RQ4 이 방법은 치명적인 잊음이나 원래 도메인에서의 성능 저하 없이 저샷 도메인 추가를 지원할 수 있는가?
• RQ5 제안된 방법은 최소한의 훈련 데이터로 고해상도 이미지 생성(예: 256×256)에 효과적인가?

주요 결과

• 25장의 이미지로 훈련하더라도 기존 방법보다 더 높은 이미지 품질과 더 나은 다양성을 달성했으며, 모드 붕괴가 관찰되지 않았다.
• ImageNet 1K에서 전학습된 생성기가 타겟 도메인에서 가장 높은 품질의 샘플을 생성했으며, 이는 원천 도메인에서의 필터 다양성이 성공적인 적응에 핵심적임을 보여준다.
• 소규모 데이터셋(예: 25장의 인간 얼굴과 애니메이션 얼굴)에서 생성된 이미지 간의 보간은 부드럽고 의미적으로 유의미한 전이를 보여, 효과적인 잠재 공간 조작을 의미한다.
• 스케일 및 시프트 파라미터만 조정하여 ImageNet의 '치즈버거'에서 '인간 얼굴'이나 '꽃'으로의 도메인 모핑을 성공적으로 수행했다.
• BigGAN-256의 경우, 매우 작은 학습률(1e-7)로 첫 번째 선형 레이어를 미세조정함으로써 선명도가 향상되었으며, 이는 최소한의 파라미터 업데이트로도 고해상도 생성 품질 향상을 이룰 수 있음을 보여준다.
• 이 방법은 생성기의 저샷 학습을 지원하며, 전체 모델을 재학습하지 않거나 기존 클래스 성능 저하 없이 새로운 클래스를 추가할 수 있다.