[논문 리뷰] First Order Generative Adversarial Networks

Calvin Seward, Thomas Unterthiner외 3명|arXiv (Cornell University)|2018. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 첫째로 기울기 정보를 정규화하여 편향이 없고 가장 급강하 방향으로의 업데이트를 보장하는 새로운 분산을 도입함으로써 편향이 없고 가장 급강하 방향으로의 업데이트를 보장하는 첫째단계 GAN(FoGAN)을 제안한다. 이 방법은 이미지 생성에서 최고 성능(FID: 6.0, CelebA에서)을 달성하고, 한글자 텍스트 생성 벤치마크에서 WGAN-GP를 뛰어넘는 훈련 속도와 샘플 품질을 확보하여 새로운 SOTA를 수립한다.

ABSTRACT

GANs excel at learning high dimensional distributions, but they can update generator parameters in directions that do not correspond to the steepest descent direction of the objective. Prominent examples of problematic update directions include those used in both Goodfellow's original GAN and the WGAN-GP. To formally describe an optimal update direction, we introduce a theoretical framework which allows the derivation of requirements on both the divergence and corresponding method for determining an update direction, with these requirements guaranteeing unbiased mini-batch updates in the direction of steepest descent. We propose a novel divergence which approximates the Wasserstein distance while regularizing the critic's first order information. Together with an accompanying update direction, this divergence fulfills the requirements for unbiased steepest descent updates. We verify our method, the First Order GAN, with image generation on CelebA, LSUN and CIFAR-10 and set a new state of the art on the One Billion Word language generation task. Code to reproduce experiments is available.

연구 동기 및 목표

• 표준 GAN 훈련 업데이트가 분산의 진짜 가장 급강하 방향과 일치하지 않는 기본 문제를 해결하기 위해.
• 작업의 최소 배치 훈련에서 편향이 없고 가장 급강하 방향 업데이트를 보장하는 이론적 프레임워크를 정의하기 위해, 분산과 업데이트 규칙에 대해 네 가지 핵심 요구사항을 설정하기 위해.
• 워샤르스탄 거리에 근접하는 새로운 분산을 개발하여 비평가의 첫째단계 정보를 명시적으로 정규화함으로써 최적의 업데이트 방향을 확보하기 위해.
• 이미지 생성(CelebA, LSUN, CIFAR-10) 및 장기적 맥락 언어 모델링(One Billion Word)에서의 실험적 검증을 통해 성능 향상과 안정성을 입증하기 위해.

제안 방법

• 비평가의 기울기 노름을 페널티 처리하는 새로운 적대적 분산을 제안하여, 비평가의 첫째단계 정보를 사용해 진짜 가장 급강하 방향의 편향 없는 추정치를 계산할 수 있도록 보장한다.
• 편향 없는 가장 급강하 방향 업데이트를 위한 이론적 조건을 충족시키기 위해, 워샤르스탄 거리와 기울기 페널티를 조합한 수정된 목표 함수를 도출한다.
• 실제 샘플과 생성된 샘플을 구분하도록 훈련된 비평가 네트워크를 사용하며, 그 기울기를 직접 생성자 업데이트 방향으로 사용한다. 이는 이론적 보장에 기반한다.
• 특히 고차원 및 장기 맥락 작업에서의 훈련 안정성과 수렴성을 향상시키기 위해 생성자에 배치 정규화를 적용한다.
• 이를 통해 이미지 및 문자 수준 언어 모델링에 모두 적용하며, 평가에 Fréchet Inception Distance(FID)와 Jensen-Shannon 분산(JSD)을 사용한다.
• 고정된 초모수 설정(λ=0.1, μ=1.0)을 사용하고, 언어 모델링의 JSD 추정에서 편향을 줄이기 위해 대규모 샘플링(6400개의 벡터)을 실시한다.

실험 결과

연구 질문

• RQ1 GAN 훈련에서 생성자 업데이트 방향이 진짜 가장 급강하 방향의 편향 없는 추정치가 되도록 분산을 설계할 수 있는가?
• RQ2 편향 없는 기울기 업데이트를 통해 목표 분포로 수렴하기 위해 분산과 업데이트 규칙이 충족해야 할 이론적 조건은 무엇인가?
• RQ3 비평가의 첫째단계 정보를 정규화하면 기존의 WGAN-GP에 비해 더 안정적이고 효과적인 훈련이 이루어지는가?
• RQ4 이 방법은 이미지 및 장기 맥락 언어 생성 과제에서 모두 최고 성능을 달성할 수 있는가?
• RQ5 동일한 평가 조건 하에서 FOGAN과 WGAN-GP 간의 훈련 효율성과 샘플 품질은 어떻게 비교되는가?

주요 결과

• FOGAN은 CelebA 데이터셋에서 Fréchet Inception Distance(FID) 6.0을 달성하여, WGAN-GP(4.2)를 뛰어넘고, 초모수 조정 없이도 다른 SOTA 방법과 동등하거나 뛰어난 성능을 보였다.
• LSUN에서 FOGAN은 FID 11.4를 기록하여 DCGAN(57.5)과 WGAN-GP(9.5)를 크게 앞서며, 더 높은 샘플 품질과 훈련 안정성을 입증했다.
• CIFAR-10에서 FOGAN은 FID 27.4를 기록하여 WGAN-GP(24.8)와 유사하고 DCGAN(57.5)보다 우수하여 다양한 데이터셋에 대한 강력한 일반화 능력을 보였다.
• One Billion Word 언어 모델링 과제에서 FOGAN은 6-그램 JSD 0.556±0.004를 기록하여 WGAN-GP(0.573±0.009)를 능가했으며, 통계적으로 유의미한 향상(p < 0.05, 2σ 차이)을 보였다.
• FOGAN 훈련은 추가로 실재 및 생성된 데이터 사이의 점들을 샘플링할 필요가 없기 때문에 WGAN-GP보다 빠르며, 그림 2의 벽시계 시간 비교로 확인되었다.
• 이 방법은 One Billion Word 벤치마크에서 최고 성능을 달성하여, 특히 고차원이고 희박한 데이터 환경에서 샘플 품질과 훈련 효율성 측면에서 새로운 SOTA를 수립했다.