[논문 리뷰] Augmentation-Aware Self-Supervision for Data-Efficient GAN Training

Liang Hou, Qi Cao외 8명|arXiv (Cornell University)|2022. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 데이터가 적은 환경에서 과적합을 완화하기 위해 보조 조정 매개변수를 자기지도 예측하는 자료 효율적인 GAN 훈련 방법인 AugSelf-GAN을 제안한다. 데이터 증강에 대한 예측을 통해 진짜 데이터인지 여부를 판별하는 디스criminator를 훈련하고, 생성기가 보다 실제처럼 보이면서도 증강에 대해 예측 가능한 샘플을 생성하도록 유도함으로써, CIFAR-10, CIFAR-100, FFHQ, LSUN-Cat 및 저자료 훈련 세트에서 극도로 낮은 데이터 가용성 조건에서도 최신 기술(SOTA) 수준의 FID 점수를 달성한다.

ABSTRACT

Training generative adversarial networks (GANs) with limited data is challenging because the discriminator is prone to overfitting. Previously proposed differentiable augmentation demonstrates improved data efficiency of training GANs. However, the augmentation implicitly introduces undesired invariance to augmentation for the discriminator since it ignores the change of semantics in the label space caused by data transformation, which may limit the representation learning ability of the discriminator and ultimately affect the generative modeling performance of the generator. To mitigate the negative impact of invariance while inheriting the benefits of data augmentation, we propose a novel augmentation-aware self-supervised discriminator that predicts the augmentation parameter of the augmented data. Particularly, the prediction targets of real data and generated data are required to be distinguished since they are different during training. We further encourage the generator to adversarially learn from the self-supervised discriminator by generating augmentation-predictable real and not fake data. This formulation connects the learning objective of the generator and the arithmetic $-$ harmonic mean divergence under certain assumptions. We compare our method with state-of-the-art (SOTA) methods using the class-conditional BigGAN and unconditional StyleGAN2 architectures on data-limited CIFAR-10, CIFAR-100, FFHQ, LSUN-Cat, and five low-shot datasets. Experimental results demonstrate significant improvements of our method over SOTA methods in training data-efficient GANs.

연구 동기 및 목표

• 제한된 훈련 데이터에서 GAN 과적합 문제, 특히 작은 데이터셋에서 디스criminator의 과적합 문제를 해결한다.
• 기존의 데이터 증강 기법이 GAN에서 암묵적으로 불필요한 불변성(invariance)을 유도하고 표현 학습을 해칠 수 있는 한계를 극복한다.
• 자기지도 디스criminator를 도입하여 진짜와 생성된 데이터를 구분하는 동시에 증강 매개변수를 예측함으로써 자료 효율성을 향상시킨다.
• 생성기가 현실적으로 보이기만 하는 것이 아니라 증강에 대해 예측 가능한 샘플을 생성하도록 훈련시켜 일반화 능력을 향상시킨다. 이는 자기지도 목표와 일치한다.
• 특정 가정 하에 생성기 최적화가 산술-조화 평균 발산(arithmetic–harmonic mean divergence)과 연결됨을 이론적으로 보여주며, 원칙적인 훈련 목표를 제공한다.

제안 방법

• 원본(증강되지 않은) 입력을 맥락으로 사용하여, 증강된 데이터의 증강 매개변수(예: 이동, 컷아웃)와 진짜/가짜 여부를 동시에 예측하는 새로운 자기지도 디스criminator를 제안한다.
• 훈련 중에 진짜 데이터와 생성된 데이터에 대해 서로 다른 자기지도 헤드를 설계하여, 특히 초기 훈련 단계에서의 데이터 분포 역학의 차이를 반영한다.
• 생성기의 이중 목적을 도입: 주 디스criminator를 속이면서도 자기지도 디스criminator가 증강 매개변수를 정확히 예측할 수 있도록 하는 샘플을 생성한다.
• 일부 가정 하에 생성기의 훈련 목표를 강력한 f-발산(산술-조화 평균 발산) 최소화로 공식화하여, 이론적으로 근거가 있는 발산 최소화와의 연결을 제공한다.
• 다양화 가능한 증강(DiffAugment)을 기본 증강 전략으로 사용하지만, 증강 매개변수에 대한 자기지도 신호를 추가하여 불변성에 대한 인식된 편향을 방지한다.
• 자기지도 손실과 적대적 손실을 균형 잡기 위한 하이퍼파rameter λ를 도입하여, 다양한 자료 환경에서의 하이퍼파rameter 튜닝에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 증강 매개변수의 자기지도 예측이 저자료 GAN 훈련에서 디스criminator의 일반화 능력을 향상시키고 과적합을 줄이는가?
• RQ2 진짜 데이터와 생성된 데이터의 자기지도 목표를 구분함으로써 표현 학습과 생성 품질이 향상되는가?
• RQ3 생성기를 보다 예측 가능한 실제 유사 샘플을 생성하도록 훈련시킬 수 있으며, 이는 자료 효율성을 향상시키는가?
• RQ4 극도로 낮은 자료 가용성 조건에서 FID 및 IS 측정치를 기준으로 제안된 방법이 최신 기술 기준(예: DiffAugment, ADA, LeCam-GAN)과 비교해 어떻게 성능을 내는가?
• RQ5 더 강력한 증강(예: 이동 + 컷아웃)과 하이퍼파rameter 선택에 대해 이 방법은 강건한가?

주요 결과

• 10% 훈련 데이터로 CIFAR-10을 훈련한 결과, AugSelf-GAN은 FID 15.68±.26을 기록하여 최신 기술 기준인 DiffAugment(20.60±.13)과 고정된 자기지도 기반 기준(17.66±.55)을 모두 앞서며 성능을 뛰어넘었다.
• 10% 훈련 데이터로 CIFAR-100을 훈련한 결과, AugSelf-GAN은 FID 21.30±.15를 달성하여 DiffAugment 기준(34.92±.63)과 고정 자기지도 기준(22.84±.28)보다 유의미하게 향상되었다.
• 강력한 증강(이동 + 컷아웃) 조건에서, CIFAR-10(10% 데이터)에서 AugSelf-GAN은 FID 12.76±.14를 기록하여 DiffAugment(20.93±.21)를 압도적으로 앞서며 강력한 증강에 대한 강건성을 입증했다.
• 높은 λ 값(예: λ = 10)에서도 AugSelf-GAN은 CIFAR-10(10% 데이터)에서 FID 15.68±.26을 유지하여, 기존 기준 대비 뛰어난 하이퍼파rameter 강건성을 보였다.
• 다섯 개의 저자료 이미지 생성 벤치마크에서 AugSelf-GAN은 FID 및 IS 측정치에서 일관된 향상을 보였으며, 극도로 자료가 부족한 환경에서의 효과성을 확인했다.
• 이론적 분석을 통해 생성기의 목적함수가 약한 가정 하에 산술-조화 평균 발산 최소화를 근사함을 확인하였으며, 이는 분포 일치와의 이론적 근거 있는 연결을 제공한다.