[논문 리뷰] SAN: Inducing Metrizability of GAN with Discriminative Normalized Linear Layer

Yuhta Takida, Masaaki Imaizumi외 5명|arXiv (Cornell University)|2023. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 Slicing Adversarial Networks (SAN)를 제안한다. SAN은 방향 최적성, 분리 가능성, 단사성 조건을 통해 판별자가 적절한 거리 척도로 작용하도록 보장함으로써 메트릭화 가능성을 강제하는 단순하면서도 효과적인 GAN 수정 방법이다. 유일한 수정은 최종 선형 레이어와 최적화 목표 함수 뿐이며, 이를 통해 학습 안정성과 성능이 향상되어, StyleGAN-XL를 사용한 조건부 생성에서 ImageNet 256×256에서 최신 기준 FID 점수를 달성한다.

ABSTRACT

Generative adversarial networks (GANs) learn a target probability distribution by optimizing a generator and a discriminator with minimax objectives. This paper addresses the question of whether such optimization actually provides the generator with gradients that make its distribution close to the target distribution. We derive metrizable conditions, sufficient conditions for the discriminator to serve as the distance between the distributions by connecting the GAN formulation with the concept of sliced optimal transport. Furthermore, by leveraging these theoretical results, we propose a novel GAN training scheme, called slicing adversarial network (SAN). With only simple modifications, a broad class of existing GANs can be converted to SANs. Experiments on synthetic and image datasets support our theoretical results and the SAN's effectiveness as compared to usual GANs. Furthermore, we also apply SAN to StyleGAN-XL, which leads to state-of-the-art FID score amongst GANs for class conditional generation on ImageNet 256$ imes$256. Our implementation is available on https://ytakida.github.io/san.

연구 동기 및 목표

• 표준 GAN 최적화가 분포 간 이질성 감소에 기여하는 의미 있는 기울기를 제공하는지 조사하기.
• 판별자가 유효한 거리 척도가 되기 위한 충분조건인 방향 최적성, 분리 가능성, 단사성 조건을 규명하기.
• 기존 GAN을 아키텍처 전반의 대대적 개선 없이도 메트릭화 가능한 모델로 변환할 수 있는 단순한 플러그인 방식 개발하기.
• 실증적으로 SAN이 합성 및 실제 데이터 세트에서 학습 안정성과 생성 품질 향상에 기여하는지 검증하기.
• StyleGAN-XL를 사용하여 ImageNet 256×256에서 클래스 조건부 생성 작업에서 최신 기준 FID 성능을 달성하기.

제안 방법

• 기능 평균 발산(FM∗)을 도입하고, 이를 절단 최적 운반 이론과 연결하여 메트릭화 가능성 조건을 수학적으로 정의하기.
• 세 가지 메트릭화 가능성 조건을 제안한다: 방향 최적성(최적 기울기 방향), 분리 가능성(구분 가능한 분포), 단사성(특징에서 출력으로의 유일한 사상).
• 판별자의 최종 선형 레이어만 수정하고 최대화 목표 함수를 조정하여 방향 최적성을 강제함으로써 SAN을 설계하기.
• DCGAN, BigGAN, StyleGAN-XL와 같은 기존 GAN에 최소한의 아키텍처 변경으로 SAN 적용하기.
• 실제 적용에서 단사성과 학습 안정성을 향상시키기 위해 스펙트럼 정규화와 기울기 페널티 사용하기.
• FID 및 IS 지표를 사용하여 합성 데이터(다중 정규분포)와 실제 데이터 세트(CIFAR-10, CelebA, ImageNet)에서 SAN을 학습하고 평가하기.

실험 결과

연구 질문

• RQ1 GAN의 판별자가 생성된 데이터와 진짜 데이터 분포 간에 적절한 거리 척도로 작용하기 위한 조건은 무엇인가?
• RQ2 최소-최대 최적화를 수행함에도 불구하고 표준 GAN이 의미 있는 기울기 신호를 제공하지 못하는 이유는 무엇인가?
• RQ3 생성자나 판별자의 주요 구성 요소를 변경하지 않고도 판별자에서 방향 최적성을 강제할 수 있는가?
• RQ4 메트릭화 가능성 조건을 강제함으로써 학습 안정성과 생성 품질은 어떻게 향상되는가?
• RQ5 SAN은 ImageNet 256×256와 같은 대규모 조건부 이미지 생성 작업에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• SAN은 클래스 조건부 생성에서 ImageNet 256×256에서 최신 기준 FID 점수 4.78을 달성하여 이전의 GAN들을 능가한다.
• 다중 정규분포에 대한 실험 결과, 단지 SAN만이 분리 가능성을 만족하며, 이는 모드 붕괴를 방지한다. 이는 워셔스타인 GAN을 포함한 표준 GAN과는 다름을 보여준다.
• ReLU 기반 판별자를 사용한 SAN은 모드 붕괴를 겪지만, Leaky ReLU 또는 기울기 페널티를 적용함으로써 이 문제를 완화함으로써 단사성의 중요성을 확인한다.
• MNIST 및 CIFAR-10에서, SAN은 히ン지, 포화, 비포화 GAN 손실 모두에서 FID와 IS 지표를 일관되게 향상시킨다.
• 제안된 SAN 프레임워크는 기존 GAN에 최소한의 변경만으로 적용 가능하다—오직 최종 선형 레이어와 목표 함수만 수정하면 된다.
• 실증 결과는 워셔스타인 GAN이 분리 가능성을 만족하지 못함을 확인하며, 이는 모드 커버리지에서 회전 아티팩트가 발생하는 이유를 설명한다.