[논문 리뷰] Improving GANs with A Dynamic Discriminator

Ceyuan Yang, Yujun Shen외 4명|arXiv (Cornell University)|2022. 09. 20.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 GAN 훈련 중 실재 샘플과 생성 샘플을 구분하는 과제의 시간에 따라 변하는 난이도에 맞추어 디스criminator의 용량을 동적으로 조정하는 DynamicD라는 방법을 제안한다. 충분한 데이터가 있을 경우 용량을 증가시키고, 데이터가 부족할 경우 용량을 감소시켜 추가 계산이나 손실 함수 없이도 이미지 합성 품질을 향상시킨다. 다양한 데이터셋과 작업, 3D 인식 생성을 포함하여 최신 기준 FID 점수를 달성한다.

ABSTRACT

Discriminator plays a vital role in training generative adversarial networks (GANs) via distinguishing real and synthesized samples. While the real data distribution remains the same, the synthesis distribution keeps varying because of the evolving generator, and thus effects a corresponding change to the bi-classification task for the discriminator. We argue that a discriminator with an on-the-fly adjustment on its capacity can better accommodate such a time-varying task. A comprehensive empirical study confirms that the proposed training strategy, termed as DynamicD, improves the synthesis performance without incurring any additional computation cost or training objectives. Two capacity adjusting schemes are developed for training GANs under different data regimes: i) given a sufficient amount of training data, the discriminator benefits from a progressively increased learning capacity, and ii) when the training data is limited, gradually decreasing the layer width mitigates the over-fitting issue of the discriminator. Experiments on both 2D and 3D-aware image synthesis tasks conducted on a range of datasets substantiate the generalizability of our DynamicD as well as its substantial improvement over the baselines. Furthermore, DynamicD is synergistic to other discriminator-improving approaches (including data augmentation, regularizers, and pre-training), and brings continuous performance gain when combined for learning GANs.

연구 동기 및 목표

• GAN 훈련에서 생성자 출력 분포가 시간에 따라 변화함에 따라 실재 데이터 분포는 그대로 유지되는 시간에 따라 변하는 이분류 과제에 대응하기 위해.
• 고정된 용량을 가진 디스criminator가 다양한 데이터 제약 조건 하에서 이러한 동적 과제에 적합한지 조사하기 위해.
• 디스criminator 용량을 실시간으로 조정하여 GAN 성능을 향상시키는 단순하고 효율적인 훈련 전략을 개발하기 위해.
• 제안된 방법이 다양한 데이터셋과 아키텍처, 2D 및 3D 인식 이미지 합성 포함하여 일반화 가능성과 호환성을 평가하기 위해.
• 기존 디스criminator 향상 기법(예: 데이터 증강, 정규화, 사전 훈련)과의 상호보완성을 입증하기 위해.

제안 방법

• DynamicD는 데이터 제약 조건에 따라 훈련 중 디스criminator의 레이어 너비를 동적으로 조정한다: 충분한 데이터가 있을 경우 용량을 증가시키고, 데이터가 부족할 경우 감소시킨다.
• 이 방법은 디스criminator의 완전히 연결된 또는 컨볼루션 레이어의 너비를 선형 스케줄에 따라 조정하여 실시간 용량 적응을 가능하게 한다.
• 대용량 데이터 제약 조건에서는 디스criminator가 초기에 작고 점차 넓어지며, 합성 분포의 복잡도 증가에 맞추어 진화한다.
• 소용량 데이터 제약 조건에서는 디스criminator가 초기에 넓고 점차 좁아져 훈련이 진행됨에 따라 과적합을 방지한다.
• 이 방법은 추가 훈련 목표나 계산 비용 없이도, 훈련 중 아키텍처 적응에 의존한다.
• 이 방법은 기존 GAN 훈련 기법과 호환되며, 데이터 증강(ADA), 정규화(zCR), 사전 훈련(FreezeD) 등과 결합 가능하며, 추가적인 성능 향상에 기여할 수 있다.

실험 결과

연구 질문

• RQ1 GAN 훈련에서 생성자의 출력 분포가 시간에 따라 변화함에 따라 발생하는 시간에 따라 변하는 이분류 과제에 대해, 고정된 용량의 디스criminator가 적응하지 못하는가?
• RQ2 디스criminator 용량을 동적으로 조정함으로써 계산 비용 증가 없이도 손실 함수를 추가하지 않고도 GAN 합성 성능을 향상시킬 수 있는가?
• RQ3 데이터 제약 조건에 따라 최적의 디스criminator 용량 조정 전략이 존재하는가(예: 대용량 데이터에서는 증가, 소용량 데이터에서는 감소)?
• RQ4 DynamicD는 기존 디스criminator 향상 기법(예: 데이터 증강, 정규화, 사전 훈련)과 효과적으로 조합될 수 있는가?
• RQ5 DynamicD는 2D 이미지 합성과 3D 인식 생성을 포함한 다양한 작업에 일반화되는가?

주요 결과

• FFHQ 2K 이미지에서 DynamicD는 FID를 ADA 기반 82.17에서 62.30으로 감소시켜 저용량 데이터 환경에서도 일관된 향상을 보였다.
• FFHQ 140K 이미지에서 DynamicD는 FID를 ADA 기반 15.62에서 14.56으로 감소시켜 풍부한 데이터 환경에서도 효과적임을 입증했다.
• FFHQ 및 Carla에서 3D 인식 이미지 생성 작업에서 DynamicD는 FID를 FFHQ-2K 기준 73.50에서 23.29로, Carla-10K 기준 53.87에서 47.42로 감소시켜 다중 시점 일致성 향상을 크게 개선했다.
• MetFaces에서 사전 훈련을 결합한 경우, DynamicD는 FID를 피취팅 기반 22.93에서 20.52로 감소시켜 호환성과 추가 이점을 입증했다.
• ADA와 결합했을 때, FFHQ-2K에서는 FID를 53.8% 향상시키고, FFHQ-140K에서는 8.5% 향상시켜 기존 방법과의 상호보완성을 확인했다.
• 이 방법은 추가 훈련 비용 없이도 여러 데이터셋과 작업(2D 및 3D 인식 이미지 합성 포함)에서 최신 기준 성능을 달성한다.