[논문 리뷰] Orthogonal Wasserstein GANs

Jan Müller, Reinhard Klein외 1명|arXiv (Cornell University)|2019. 11. 29.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 워셔스타인 GAN에서 기울기 노름 정규화를 가중치 행렬의 직교화로 대체하여 리프시츠 제약을 강제함으로써, 판별기의 일반화 능력과 생성 샘플의 정밀도를 향상시킨다. 이 방법은 직교화 기법을 사용하여 판별기 가중치의 스펙트럼 분포를 더 균일하게 만들며, 이로 인해 더 나은 모드 커버리지와 고품질의 샘플을 얻을 수 있다. 합성 및 CIFAR-10 데이터셋에서의 실험적 검증을 통해 프리에치 인ception 거리와 인셉션 스코어에서 뛰어난 성능을 보였다.

ABSTRACT

Wasserstein-GANs have been introduced to address the deficiencies of generative adversarial networks (GANs) regarding the problems of vanishing gradients and mode collapse during the training, leading to improved convergence behaviour and improved image quality. However, Wasserstein-GANs require the discriminator to be Lipschitz continuous. In current state-of-the-art Wasserstein-GANs this constraint is enforced via gradient norm regularization. In this paper, we demonstrate that this regularization does not encourage a broad distribution of spectral-values in the discriminator weights, hence resulting in less fidelity in the learned distribution. We therefore investigate the possibility of substituting this Lipschitz constraint with an orthogonality constraint on the weight matrices. We compare three different weight orthogonalization techniques with regards to their convergence properties, their ability to ensure the Lipschitz condition and the achieved quality of the learned distribution. In addition, we provide a comparison to Wasserstein-GANs trained with current state-of-the-art methods, where we demonstrate the potential of solely using orthogonality-based regularization. In this context, we propose an improved training procedure for Wasserstein-GANs which utilizes orthogonalization to further increase its generalization capability. Finally, we provide a novel metric to evaluate the generalization capabilities of the discriminators of different Wasserstein-GANs.

연구 동기 및 목표

• 기울기 노름 정규화가 판별기 가중치의 넓은 스펙트럼 분포를 유도하지 못하는 워셔스타인 GAN의 한계를 해결하기 위해.
• 기울기 노름 정규화보다 가중치 행렬에 대한 직교 제약 조건이 리프시츠 조건을 더 잘 강제할 수 있는지 조사하기 위해.
• 더 균일한 특이값 분포를 유도함으로써 워셔스타인 GAN에서 학습된 데이터 분포의 일반화 능력과 정밀도를 향상시키기 위해.
• 근사된 워셔스타인 거리 기반으로 새로운 판별기 일반화 평가 지표를 제안하기 위해.

제안 방법

• 기울기 노름 정규화를 대체하기 위해 하드 제약, 소프트 제약, 반복적인 SVD 기반 직교화의 세 가지 다른 가중치 직교화 기법을 사용한다.
• 기울기 페널티나 가중치 클리핑 대신 직교 가중치 행렬을 통해 리프시츠 연속성을 강제한다.
• 표준 워셔스타인 GAN 목표를 유지하면서 직교화된 가중치를 가진 판별기를 훈련하며, 학습을 안정화하기 위해 수정된 훈련 절차를 사용한다.
• 판별기 일반화 능력을 비교하기 위해 근사된 워셔스타인 거리 기반의 새로운 평가 지표를 도입한다.
• 훈련 안정성을 향상시키기 위해 판별기 아키텍처에서 레이어 정규화와 잔여 연결을 사용한다.
• 동일한 계산 자원 예산 하에 제안된 방법을 최신의 WGAN 변종들(예: WGAN-GP, WGAN-TTUR)과 합성 및 CIFAR-10 데이터셋에서 비교한다.

실험 결과

연구 질문

• RQ1 가중치 행렬의 직교화가 기울기 노름 정규화보다 워셔스타인 GAN에서 리프시츠 제약을 더 견고하게 강제할 수 있는가?
• RQ2 직교화가 판별기 가중치의 스펙트럼 분포에 어떤 영향을 미치며, 이는 학습된 데이터 분포의 품질에 영향을 미치는가?
• RQ3 기울기 노름 정규화를 직교화로 대체하면 생성 샘플의 일반화 능력과 모드 커버리지가 향상되는가?
• RQ4 프리에치 인셉션 거리, 인셉션 스코어, 훈련 효율성 측면에서 제안된 방법은 WGAN-GP 및 WGAN-TTUR와 비교해 어떻게 성능을 냈는가?
• RQ5 근사된 워셔스타인 거리 기반의 새로운 지표가 판별기 일반화 성능을 효과적으로 순위 매길 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10에서 11.8의 최저 프리에치 인셉션 거리(FID)를 기록하여 WGAN-GP(12.3)와 WGAN-TTUR(13.1)를 모두 앞섰다.
• 제안된 방법은 CIFAR-10에서 8.72의 최고 인셉션 스코어를 기록하여 WGAN-GP(8.51)와 WGAN-TTUR(8.43)를 모두 초월했다.
• 제안된 방법은 새로운 지표에서 가장 높은 일반화 점수(s = 1.17)를 기록하여 WGAN-GP(s = 0.83)를 크게 상회했다.
• 제안된 방법으로 훈련된 판별기는 학습 반복 과정에서 노이즈가 줄어들고 크기가 더 큰 안정적이고 강력한 기울기 신호를 생성기로 전달했다.
• 특히 합성곱 레이어에서 제안된 방법은 가중치의 스펙트럼 값이 더 균일하게 분포되어 있었으며, WGAN-TTUR는 불균일하고 군집화된 특이값을 보였다.
• 제안된 방법은 계산 효율성이 가장 높았으며, CIFAR-10에서 초당 128회의 반복을 달성하여 WGAN-GP 및 WGAN-TTUR보다 훈련 속도에서 뛰어났다.