[논문 리뷰] Self-Diagnosing GAN: Diagnosing Underrepresented Samples in Generative Adversarial Networks

Jinhee Lee, Haeri Kim외 2명|arXiv (Cornell University)|2021. 02. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 14

한 줄 요약

이 논문은 GAN에서 소수의 데이터 하위군에 대해 생성 품질과 다양성을 향상시키기 위해 디스커미네이터 출력 통계를 사용해 샘플을 진단하는 Self-Diagnosing GAN을 제안한다. 평균과 분산을 포함한 두 가지 메트릭을 도입한 후, 학습 중에 점수 기반 가중 샘플링을 적용하여 저밀도, 소수의 샘플을 강조함으로써 전체 품질을 희생시키지 않고도 소수 집단의 커버리지와 정밀도를 크게 향상시킨다.

ABSTRACT

Despite remarkable performance in producing realistic samples, Generative Adversarial Networks (GANs) often produce low-quality samples near low-density regions of the data manifold, e.g., samples of minor groups. Many techniques have been developed to improve the quality of generated samples, either by post-processing generated samples or by pre-processing the empirical data distribution, but at the cost of reduced diversity. To promote diversity in sample generation without degrading the overall quality, we propose a simple yet effective method to diagnose and emphasize underrepresented samples during training of a GAN. The main idea is to use the statistics of the discrepancy between the data distribution and the model distribution at each data instance. Based on the observation that the underrepresented samples have a high average discrepancy or high variability in discrepancy, we propose a method to emphasize those samples during training of a GAN. Our experimental results demonstrate that the proposed method improves GAN performance on various datasets, and it is especially effective in improving the quality and diversity of sample generation for minor groups.

연구 동기 및 목표

• GAN이 소수 또는 소수 데이터 하위군에 대해 고해상도 샘플을 생성하지 못하는 지속적인 문제를 해결하기 위해.
• 명시적인 레이블에 의존하지 않고도 비지도 방식으로 소수 샘플을 진단하기 위해.
• 특히 데이터 매니폴드의 저밀도 영역에서 다양성과 정밀도를 향상시키기 위해.
• 학습 시간에만 영향을 주고 계산 오버헤드를 증가시키지 않는 경량의 방법을 개발하기 위해.
• 학습 중 디스커미네이터 행동을 기반으로 문제 있는 샘플을 식별할 수 있는 진단 도구를 제공하기 위해.

제안 방법

• 메서드는 디스커미네이터 출력에서 두 가지 진단 메트릭을 계산한다: 평균 차이(데이터 분포와 모델 분포 간 평균 차이)와 차이의 분산(학습 에포크 동안 이 차이의 변동성).
• 평균 차이는 항상 모델 분포에서 멀리 떨어져 있는 샘플을 식별하며, 이는 모드 붕괴 또는 모델링 부족을 시사한다.
• 차이의 분산은 불안정한 모델링 행동을 가진 샘플을 탐지하며, 일반적으로 소수 또는 희귀 하위군과 관련된다.
• 두 메트릭의 가중 합으로 복합 점수를 계산하여 샘플의 부족 대비 위험도를 순위 매긴다.
• 학습 중에 생성자는 가중 샘플링을 통해 업데이트되며, 더 높은 점수(더 부족한) 샘플이 더 높은 확률로 우선순위가 매겨진다.
• 이 방법은 GAN 아키텍처에 종속되지 않으며, 최소한의 수정으로 다양한 GAN 변종에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 학습 에포크 동안 디스커미네이터 차이의 평균과 분산이 GAN에서 소수 또는 소수 샘플을 효과적으로 식별할 수 있는가?
• RQ2 학습 중에 높은 차이 점수를 가진 샘플을 강조함으로써 소수 집단의 생성 샘플 품질과 다양성이 향상되는가?
• RQ3 이 진단 방법이 전체 샘플 정밀도를 떨어뜨리거나 계산 비용을 증가시키지 않고도 GAN 성능을 향상시킬 수 있는가?
• RQ4 기존의 후처리, 데이터 사전 처리 또는 하이브리드 모델과 비교해 이 방법은 소수 집단 커버리지 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법이 다양한 데이터셋과 소수 비율에서 FID, IS, R, P와 같은 정밀도 및 다양성 메트릭을 얼마나 향상시키는가?

주요 결과

• 99%의 majority 비율을 가진 Colored MNIST에서 Dia-GAN은 소수 샘플의 재구성 오차를 0.838에서 0.224로 감소시켜 소수 커버리지가 크게 향상되었다.
• 99%의 majority 비율을 가진 MNIST-FMNIST에서 Dia-GAN은 재구성 오차를 0.290에서 0.264로 감소시켜 희귀 클래스의 모델링이 향상됨을 보였다.
• CelebA에서 Dia-GAN은 바디, 모자 쓴 등의 소수 속성의 발생 빈도를 기존 GAN 대비 최대 25% 증가시켰으며, 부분 회귀(Partial Recall, R)는 10-15% 향상되었다.
• FID 및 IS 메트릭에서 Dia-GAN은 FFHQ와 CIFAR-10에서 최고 성능을 기록했으며, StyleGAN2에서 FID는 11.89, IS는 8.02를 기록해 베이스라인 및 이전 방법을 초월했다.
• 이 방법은 정밀도(FID, IS)와 다양성(R, P)을 동시에 향상시켜 일반적으로 발생하는 품질과 다양성 간의 트레이드오프를 피할 수 있었다.
• 실증적 및 이론적 분석을 통해 높은 평균 차이는 붕괴된 모드 근처에서의 나쁜 모델링을, 높은 차이의 분산은 희귀하고 모델링이 어려운 샘플을 식별함을 확인했다.