[논문 리뷰] Face Super-Resolution Through Wasserstein GANs

Zhimin Chen, Yuguang Tong|arXiv (Cornell University)|2017. 05. 06.

Advanced Image Processing Techniques참고 문헌 10인용 수 34

한 줄 요약

이 논문은 얼굴 초해상도 분석을 위한 기울기 보정이 있는 워샤르스키 GAN(WGAN-GP)을 조사하며, WGAN-GP가 다양한 아키텍처에서 안정적인 학습을 가능하게 하고, 단조롭게 증가하는 판별자 손실을 통해 학습 진행 상황을 신뢰할 수 있는 지표로 제공함을 입증한다. 또한 워샤르스키 거리가 표준 GAN보다 학습 수렴도를 효과적으로 측정하고 모드 붕괴를 감소시킨다는 것을 확인한다.

ABSTRACT

Generative adversarial networks (GANs) have received a tremendous amount of attention in the past few years, and have inspired applications addressing a wide range of problems. Despite its great potential, GANs are difficult to train. Recently, a series of papers (Arjovsky & Bottou, 2017a; Arjovsky et al. 2017b; and Gulrajani et al. 2017) proposed using Wasserstein distance as the training objective and promised easy, stable GAN training across architectures with minimal hyperparameter tuning. In this paper, we compare the performance of Wasserstein distance with other training objectives on a variety of GAN architectures in the context of single image super-resolution. Our results agree that Wasserstein GAN with gradient penalty (WGAN-GP) provides stable and converging GAN training and that Wasserstein distance is an effective metric to gauge training progress.

연구 동기 및 목표

• 단일 이미지 얼굴 초해상도 분석에서 워샤르스키 GAN(WGAN)과 기울기 보정이 있는 워샤르스키 GAN(WGAN-GP)의 효과성을 체계적으로 평가하는 것.
• WGAN-GP가 엄격한 아키텍처 제약 없이 다양한 딥 러닝 아키텍처에서 안정적인 학습을 유지할 수 있는지 평가하는 것.
• 워샤르스키 거리가 학습 진행 상황을 모니터링하는 데 신뢰할 수 있는 지표로 기능한다는 주장을 검증하는 것.
• 초해상도에서 L1 손실 가중치가 모델의 강건성과 이미지 품질에 미치는 영향을 조사하는 것.
• 특히 강한 복원 제약 조건 하에서도 WGAN-GP가 모드 붕괴를 완화하는지 조사하는 것.

제안 방법

• 저자들은 표준 GAN, 가중치 클리핑이 있는 WGAN, 기울기 보정이 있는 WGAN-GP의 세 가지 목적함수를 구현하고 학습한다.
• 이 목적함수들은 DCGAN(합성곱), MLP(완전 연결), 배치 정규화 유무가 있는 ResNet(잔차 신경망)의 세 가지 아키텍처에서 평가된다.
• 생성자 손실은 진짜 이미지와 유사성을 유지하기 위해 적대적 손실과 L1 복원 항목을 조합한다.
• WGAN-GP의 판별자 손실은 기울기 보정을 통해 기울기 노름을 1로 제약함으로써 가중치 클리핑을 대체한다.
• 학습 안정성과 수렴성을 기울기 보정된 판별자 손실, 워샤르스키 거리, L1 복원 오차를 통해 모니터링한다.
• 무작위 노이즈에서부터 선택되지 않은 샘플을 생성하여 잠재 공간의 다양성과 모드 붕괴를 평가한다.

실험 결과

연구 질문

• RQ1 WGAN-GP 학습이 표준 GAN보다 얼굴 초해상도 분석에서 더 안정적이고 수렴성이 높은가?
• RQ2 WGAN-GP가 단순한 MLP부터 복잡한 ResNet까지 다양한 아키텍처에서 안정적인 학습을 유지할 수 있는가?
• RQ3 워샤르스키 거리가 학습 진행 상황과 잘 연관되어 있어 하이퍼파라미터 튜닝이나 조기 정지에 신뢰할 수 있는 지표로 기능하는가?
• RQ4 L1 손실 가중치는 초해상도 이미지의 강건성과 품질에 어떤 영향을 미치는가?
• RQ5 L1 손실에 의해 입력 이미지와 일치하도록 강제되더라도 WGAN-GP가 표준 GAN보다 모드 붕괴를 줄이는가?

주요 결과

• WGAN-GP 학습은 표준 GAN에서 관찰되는 진동하는 손실과 달리 단조롭고 안정적인 판별자 손실을 보이며, 일관된 학습 진행 상황을 나타낸다.
• 모든 아키텍처에서 워샤르스키 거리가 단조롭게 감소함으로써, 이가 학습 진행 상황 지표로 효과적이라는 것을 확인한다.
• 특히 ResNet과 같은 복잡한 아키텍처에서 표준 GAN과 가중치 클리핑이 있는 WGAN보다 더 날카롭고 다양한 얼굴 이미지를 생성한다.
• 배치 정규화 없이도 ResNet 아키텍처에서 안정성이 유지됨으로써, 아키텍처 제약이 감소함을 시사한다.
• WGAN-GP는 다양한 γ 값에서 L1 손실 가중치에 더 강건하며, 다양한 γ 값에서도 더 나은 이미지 품질과 일관성을 유지한다.
• WGAN-GP에서 선택되지 않은 샘플은 표준 GAN보다 훨씬 적은 모드 붕괴를 보이며, 더 다양한 얼굴 특징과 표정을 포함한다.