[논문 리뷰] Data-Efficient Instance Generation from Instance Discrimination

Ceyuan Yang, Yujun Shen외 2명|arXiv (Cornell University)|2021. 06. 08.

Handwritten Text Recognition Techniques참고 문헌 52인용 수 31

한 줄 요약

InsGen은 GAN 판별기에 인스턴스 구별 보조 작업을 추가하고, 실제 이미지와 합성 이미지를 모두 사용하여 더 구별 가능한 표현을 학습하고 다양한 생성을 장려하여 데이터 효율성을 개선합니다.

ABSTRACT

Generative Adversarial Networks (GANs) have significantly advanced image synthesis, however, the synthesis quality drops significantly given a limited amount of training data. To improve the data efficiency of GAN training, prior work typically employs data augmentation to mitigate the overfitting of the discriminator yet still learn the discriminator with a bi-classification (i.e., real vs. fake) task. In this work, we propose a data-efficient Instance Generation (InsGen) method based on instance discrimination. Concretely, besides differentiating the real domain from the fake domain, the discriminator is required to distinguish every individual image, no matter it comes from the training set or from the generator. In this way, the discriminator can benefit from the infinite synthesized samples for training, alleviating the overfitting problem caused by insufficient training data. A noise perturbation strategy is further introduced to improve its discriminative power. Meanwhile, the learned instance discrimination capability from the discriminator is in turn exploited to encourage the generator for diverse generation. Extensive experiments demonstrate the effectiveness of our method on a variety of datasets and training settings. Noticeably, on the setting of 2K training images from the FFHQ dataset, we outperform the state-of-the-art approach with 23.5% FID improvement.

연구 동기 및 목표

• 학습 데이터가 희소할 때 GAN 데이터 효율성을 개선하는 것을 목표로 한다.
• 판별기에 보조 작업으로 인스턴스 구별을 제안하여 무한한 가짜 샘플을 활용한다.
• 노이즈 섭동된 가짜 구별을 가능하게 하여 판단력을 강화한다.
• 생성기가 매우 다양한 샘플을 생성하도록 루프백 메커니즘을 만든다.
• FFHQ 및 AFHQ에서 기존 데이터 증강 기반과 비교하여 실질적인 개선을 입증한다.

제안 방법

• 실제 이미지에 대해 GAN 판별기 위에 인스턴스 구별 헤드를 도입한다.
• 가짜 이미지용 별도 인스턴스 구별 헤드도 추가하고, 가짜 샘플에 대한 노이즈 섭동 전략을 사용한다.
• 효율적인 인스턴스 구별 학습을 위해 특징을 저장하는 큐를 사용한다( MoCo 스타일).
• 가짜 인스턴스 헤드로 개별적으로 식별될 수 있는 샘플을 생성하도록 생성기를 훈련하는 루프백 목표를 적용한다(perturbation 없이).
• 표준 GAN 손실과 인스턴스 구별 손실을 가중 항(λ 파라미터)을 통해 결합한다.
• 핵심 아키텍처나 증강 전략을 바꾸지 않고 StyleGAN2-ADA에서 구현을 시연한다.

실험 결과

연구 질문

• RQ1 제한된 데이터 하에서 인스턴스 구별이 판별기의 품질을 향상시키고 그로 인해 생성기 합성을 개선할 수 있는가?
• RQ2 가짜(생성된) 샘플이 판별 가능한 표현 학습에 유용한 무한한 데이터 소스를 제공하는가?
• RQ3 인스턴스 구별 중 가짜 이미지를 섭동하면 강건성과 전반적인 합성 품질이 향상되는가?
• RQ4 인스턴스 구별을 통해 다양한 생성을 강제하는 것이 FID와 시각적 품질의 측정 가능한 향상으로 이어지는가?

주요 결과

방법	2K	10K	140K
PA-GAN	56.49	27.71	3.78
zCR	71.61	23.02	3.45
Auxiliary rotation	66.64	25.37	4.16
StyleGAN2	78.80	30.73	3.66
w/ Shallow mapping	71.35	27.71	3.59
w/ Adaptive dropout	67.23	23.33	4.16
w/ DiffAugment	24.32	7.86	-
w/ ADA	15.60*	7.29*	3.88
InsGen (Ours)	11.92	4.90	3.31

• InsGen은 데이터 규모에 관계없이 ADA 대비 유의미한 FID 감소를 달성한다(예: FFHQ 2K, 10K, 70K).
• FFHQ에서 2K, 10K, 70K 훈련 이미지에 대해 InsGen은 ADA 베이스라인 대비 각각 11.92, 4.90, 3.31의 FID 개선을 달성한다(표의 값).
• AFHQ 결과는 고양이, 개, 야생동물 범주에서 이전 방법보다 낮은 FID를 달성한 InsGen을 보여준다.
• 비가짜 구별 없이 인스턴스 구별만으로도 이득이 나타나며, 가짜 구별과 노이즈 섭동을 추가하면 추가 향상이 있다.
• 인스턴스 구별에 사용되는 합성 샘플의 수를 늘리면 일관되게 FID가 개선되어 무한한 가짜 데이터의 이점을 보여준다.
• 판별기 로짓은 InsGen에서 실제 대 가짜 구분이 더 강하고 학습이 더 안정적임을 나타낸다.