[논문 리뷰] GAN-QP: A Novel GAN Framework without Gradient Vanishing and Lipschitz Constraint

Jianlin Su|arXiv (Cornell University)|2018. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 25

한 줄 요약

이 논문은 기존의 1-Lipschitz 제약 조건이 필요 없이 기울기 소실을 제거하는 새로운 GAN 프레임워크인 GAN-QP를 제안한다. 이는 이중 공간에서 직접 새로운 산란도(measure)인 QP-div를 구성함으로써, 판별자 손실에 이차 페널티 항을 도입하여 학습을 안정화시킨다. 결과적으로 기울기 페널티나 스펙트럼 정규화 없이도 최신 기준(FID 22.7, 256×256)을 달성하며, 더 뛰어난 샘플 품질을 확보한다.

ABSTRACT

We know SGAN may have a risk of gradient vanishing. A significant improvement is WGAN, with the help of 1-Lipschitz constraint on discriminator to prevent from gradient vanishing. Is there any GAN having no gradient vanishing and no 1-Lipschitz constraint on discriminator? We do find one, called GAN-QP. To construct a new framework of Generative Adversarial Network (GAN) usually includes three steps: 1. choose a probability divergence; 2. convert it into a dual form; 3. play a min-max game. In this articles, we demonstrate that the first step is not necessary. We can analyse the property of divergence and even construct new divergence in dual space directly. As a reward, we obtain a simpler alternative of WGAN: GAN-QP. We demonstrate that GAN-QP have a better performance than WGAN in theory and practice.

연구 동기 및 목표

• 표준 GAN(SGAN)과 f-GAN에서 발생하는 기울기 소실 문제를 지속적으로 해결하기 위해.
• WGAN 등에서 흔히 사용되지만 제약적인 1-Lipschitz 제약 조건이나 기울기 페널티를 명시적으로 요구하지 않도록 GAN 학습의 필요성을 제거하기 위해.
• 원래 산란도 정의에 의존하지 않고도 이중 공간에서 직접 산란도를 구성하고 분석할 수 있음을 보여주기 위해.
• 이론과 실천에서 모두 기존 방법을 능가하는 더 단순하고 안정적인 GAN 프레임워크인 GAN-QP를 개발하기 위해.
• 고해상도(최대 512×512) 및舣방향 생성(BiGAN-QP) 환경에서 GAN-QP의 강건성과 확장성을 검증하기 위해.

제안 방법

• 원래 확률 산란도 정의에 의존하지 않고 이중 공간에서 직접 정의된 새로운 산란도인 QP-div를 제안한다.
• 이차 페널티 항을 사용하여 최대-최소 게임 형식으로 판별자 손실을 설정함으로써 GAN-QP 프레임워크를 구성한다: $ \text{max}_T \text{E}[T(x_r) - T(x_f) - \frac{(T(x_r) - T(x_f))^2}{2\tau d(x_r, x_f)}] $, 여기서 $ \tau $ 는 학습되거나 적응형으로 설정되는 초매개변수이다.
• 실제 샘플과 가짜 샘플 간의 거리 측도 $ d(x_r, x_f) $ 를 사용하여 페널티 항을 스케일링하며, 이는 L1 또는 L2 노름일 수 있다.
• 단일 입력 판별자 $ T(x) $ 를 사용하여, 실재 및 가짜 샘플의 병합 입력이 성능 향상에 필수적이지 않음을 보여준다.
• 이미지 해상도에 반비례하는 초매개변수 $ \tau $ 를 도입한다: L1의 경우 $ \tau = 10 / (w h c) $, L2의 경우 $ \tau = 10 / \text{sqrt}(w h c) $.
• 생성자 및 인코더 양쪽에 복원 손실을 포함한 동일한 학습 절차를 BiGAN 변형(BiGAN-QP)에 적용한다.

실험 결과

연구 질문

• RQ1 1-Lipschitz 제약 조건이나 기울기 페널티에 의존하지 않으면서도 안정적이고 효과적인 GAN 프레임워크를 설계할 수 있는가?
• RQ2 원래 산란도에서 유도하지 않고도 이중 공간에서 새로운 확률 산란도를 정의하고 사용할 수 있는가?
• RQ3 제안된 QP-div 산란도가 고차원 또는 교차 영역이 낮은 데이터 설정에서 GAN의 기울기 소실을 제거할 수 있는가?
• RQ4 FID 점수, 학습 안정성, 추론 속도 측면에서 GAN-QP가 WGAN-GP, WGAN-SN, SGAN-SN보다 어떻게 비교되는가?
• RQ5 GAN-QP는 256×256, 512×512와 같은 고해상도로 일반화되고, BiGAN과 같은舣방향 모델로 확장될 수 있는가?

주요 결과

• 256×256 CIFAR-10에서 GAN-QP는 최종 FID 점수 22.7을 기록하여, SGAN-SN(27.9)과 WGAN-GP(55.5)를 모두 앞서 성능이 뛰어나다.
• 128×128 해상도에서 GAN-QP-L1과 GAN-QP-L2는 각각 FID 점수 45.0과 44.7을 기록하여 비교된 모든 방법 중 두 번째로 높은 순위를 차지한다.
• 거리 측도 선택에 대해 강건성을 보이며, L1과 L2 노름 간 성능 차이가 유의미하지 않다.
• 기울기 페널티나 스펙트럼 정규화 없이도 안정적인 학습을 유지하며, 기준 대비 1배의 속도로 학습 속도가 유사하다.
• BiGAN-QP 변형은 256×256 해상도에서 실재 이미지를 성공적으로 복원하여, 이 방법이 분리 표현 학습에 적용 가능함을 확인한다.
• 512×512 해상도에서 GAN-QP는 단일 GTX 1080Ti에서 2일간의 학습 후 최종 FID 26.64를 기록하여 고해상도 생성에 대한 확장성을 보여준다.