[논문 리뷰] On gradient regularizers for MMD GANs

Michael Arbel, Danica J. Sutherland외 2명|arXiv (Cornell University)|2018. 05. 29.

Numerical methods in inverse problems참고 문헌 47인용 수 7

한 줄 요약

이 논문은 최대 평균 차이(MMD) GAN에 대한 새로운 기울기 정규화를 제안하며, 실제 데이터 분포 위에서 비평가의 기울기 노름에 정확하고 분석적으로 구현 가능한 기울기 제약 조건을 부여함으로써 훈련 안정성과 수렴성을 향상시킨다. 이 방법은 $160\times160$ CelebA와 $64\times64$ ImageNet에서 기존의 MMD 및 WGAN 기반 모델을 능가하는 최신 기술 수준의 성능을 내며, 더 빠르고 안정적인 훈련을 가능하게 한다.

ABSTRACT

We propose a principled method for gradient-based regularization of the critic of GAN-like models trained by adversarially optimizing the kernel of a Maximum Mean Discrepancy (MMD). We show that controlling the gradient of the critic is vital to having a sensible loss function, and devise a method to enforce exact, analytical gradient constraints at no additional cost compared to existing approximate techniques based on additive regularizers. The new loss function is provably continuous, and experiments show that it stabilizes and accelerates training, giving image generation models that outperform state-of-the art methods on $160 imes 160$ CelebA and $64 imes 64$ unconditional ImageNet.

연구 동기 및 목표

• 비제어된 비평가 기울기로 인해 MMD GAN에서 발생하는 안정성 문제와 최적화 신호의 열악함을 해결하기 위해.
• 근거가 명확하고 분석적으로 적용 가능한 기울기 제약 조건을 개발하여 근사적 또는 추가적인 정규화 기법을 피하기 위해.
• 생성자에 의해 현재 배치에 의존하지 않고도 실제 데이터 분포에서 비평가가 잘 행동하도록 보장함으로써 생성자 성능을 향상시키기 위해.
• 제안된 정규화가 더 빠르고 안정적인 훈련과 뛰어난 이미지 생성 품질을 이끌어내는지 입증하기 위해.
• 고해상도 이미지 생성 벤치마크에서 기존의 MMD 및 WGAN 기반 GAN을 능가하는지 보여주기 위해.

제안 방법

• 실제 데이터 분포 $\mathbb{P}$ 위에서만 제약을 받는 새로운 MMD 기반 손실을 제안하며, 생성자 샘플 $\mathbb{Q}_{\theta}$ 위에는 제약을 두지 않는다.
• 반감독 학습에서 영감을 얻은 정규화를 유도하여, $\mathbb{P}$의 밀도가 높은 곳에서 기울기 노름이 크지 않도록 하여 실제 데이터에서 비평가가 평탄해지도록 한다.
• 라그랑주 형식을 사용하여 기울기 제약 조건을 정확하고 분석적으로 구현함으로써 기울기 페널티 항목에서 발생하는 근사 오류를 피한다.
• 추가적인 계산 비용 없이도 $\mathbb{P}$ 위에서 밀도 가중 기울기 노름 항목을 포함한 수정된 비평가 손실을 적용한다.
• 특성 정규화를 제안된 정규화와 함께 사용하여 특히 깊은 네트워크에서 훈련을 더욱 안정화시킨다.
• 학습된 커널을 사용하여 새로운 기울기 제약 조건과 결합한 스케일드 MMD(SMMD) 변형을 활용하여 표현 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 데이터 분포 위에서 비평가의 기울기 제약 조건을 정확히 부여함으로써 MMD GAN의 훈련 안정성과 성능을 향상시킬 수 있는가?
• RQ2 생성자의 현재 배치에 의존하지 않는 기울기 정규화 기법이 분포 이동을 방지하고 최적화 역학을 향상시키는가?
• RQ3 기존의 기울기 페널티(예: WGAN-GP) 및 특성 정규화와 비교했을 때 수렴 속도와 샘플 품질 측면에서 제안된 방법은 어떠한가?
• RQ4 새로운 정규화 기법이 $160\times160$ CelebA 및 $64\times64$ ImageNet과 같은 고해상도 이미지 생성 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 고차원 설정에서도 손실 함수가 연속성을 유지하고 모드 붕괴를 피할 수 있는가?

주요 결과

• 기울기 정규화를 적용한 SMMD GAN은 특성 정규화를 사용하여 CIFAR-10에서 Inception Score 7.3 ± 0.1과 FID 25.0 ± 0.3을 기록했으며, SN-MMDGAN 및 Sobolev-GAN을 포함한 모든 베이스라인을 능가했다.
• $160\times160$ CelebA에서 이 방법은 최신 기술 수준의 FID 및 KID 점수를 기록했으며, 안정적인 훈련과 모드 붕괴 없이 성능을 유지했다.
• $64\times64$ ImageNet에서 모델는 기존의 MMD 및 WGAN 기반 방법을 능가했으며, 뛰어난 샘플 품질과 훈련 안정성을 입증했다.
• 표준 MMDGAN 및 기울기 제약이 있는 MMDGAN보다 더 빠른 수렴을 달성했으며, KID 점수가 급격한 피크 없이 안정적으로 감소했다.
• 특성 정규화와 새로운 정규화를 조합한(SN-SMMDGAN) 모델은 CIFAR-10에서 FID를 25.0 ± 0.3으로 낮췄으며, SN-MMDGAN(FID 31.5 ± 0.2) 및 SN-WGAN-GP(FID 154.3 ± 0.2)를 크게 능가했다.
• 손실 함수는 증명 가능하게 연속적이었고, 조건이 없는 모델에서 관찰되는 불안정성과 랭크 붕괴와는 다르게, MNIST에서 32,000번의 생성자 반복 후에도 안정성을 유지했다.