[논문 리뷰] Gradient Layer: Enhancing the Convergence of Adversarial Training for Generative Models

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|2018. 01. 07.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 기능적 기울기와 기울기 흐름 이산화를 통해 무한차원 함수 공간에서의 최적화를 가능하게 함으로써 생성 모델에서 적대적 훈련 수렴을 향상시키는 새로운 기법인 기울기 층을 소개한다. 생성자를 연속 함수로 간주하고 기울기 흐름의 이산화를 적용함으로써 유한차원 모델에서의 국소 최적해를 벗어나며, 더 빠른 수렴과 향상된 샘플 품질을 달성한다. 이는 CIFAR-10 및 STL-10 데이터셋에서 개선된 Inception 점수를 통해 입증되었다.

ABSTRACT

We propose a new technique that boosts the convergence of training generative adversarial networks. Generally, the rate of training deep models reduces severely after multiple iterations. A key reason for this phenomenon is that a deep network is expressed using a highly non-convex finite-dimensional model, and thus the parameter gets stuck in a local optimum. Because of this, methods often suffer not only from degeneration of the convergence speed but also from limitations in the representational power of the trained network. To overcome this issue, we propose an additional layer called the gradient layer to seek a descent direction in an infinite-dimensional space. Because the layer is constructed in the infinite-dimensional space, we are not restricted by the specific model structure of finite-dimensional models. As a result, we can get out of the local optima in finite-dimensional models and move towards the global optimal function more directly. In this paper, this phenomenon is explained from the functional gradient method perspective of the gradient layer. Interestingly, the optimization procedure using the gradient layer naturally constructs the deep structure of the network. Moreover, we demonstrate that this procedure can be regarded as a discretization method of the gradient flow that naturally reduces the objective function. Finally, the method is tested using several numerical experiments, which show its fast convergence.

연구 동기 및 목표

• 깊이 있는 생성 모델의 적대적 훈련에서 느린 수렴과 국소 최적해 문제를 해결하기 위해.
• GAN에서 유한차원 파rameterized 생성자들의 표현 한계를 극복하기 위해.
• 무한차원 함수 공간에서 작동함으로써 국소 최적해를 벗어나는 방법을 개발하기 위해.
• 기능적 기울기 방법을 사용한 더 빠른 수렴에 대한 이론적 근거를 제공하기 위해.
• 표준 벤치마크에서의 경험적 평가를 통해 기울기 층의 효과성을 입증하기 위해.

제안 방법

• 유한차원 파arameterization의 제약을 피하기 위해 무한차원 공간에서 기능적 기울기를 계산하는 기울기 층을 도입한다.
• 기능적 기울기 방법을 사용하여, 유한차원 모델의 탄성 공간에 제한되지 않은 내림쪽 방향을 찾는다.
• 생성된 데이터 분포와 진짜 데이터 분포 간의 거리를 최소화하는 것으로, 확률 측도 공간에서의 기울기 흐름의 이산화로 훈련 과정을 간주한다.
• 기울기 층을 순차적으로 스택함으로써, 각 반복이 생성자에 새로운 층을 추가하는 것과 동일시하며 자연스럽게 깊은 아키텍처를 형성한다.
• 최종 훈련 단계에서 생성자의 출력 활성화(예: tanh) 아래에 기울기 층을 삽입함으로써 방법을 적용한다.
• 비평가 훈련에는 ADAM을 사용하고, 안정성과 수렴을 보장하기 위해 기울기 층 업데이트에 수정된 학습률 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 기능적 기울기를 통한 무한차원 최적화가 GAN의 적대적 훈련에서 수렴을 향상시킬 수 있는가?
• RQ2 기울기 층 방법이 유한차원 모델이 제약을 받는 국소 최적해를 벗어나는가?
• RQ3 기울기 층이 확률 측도 공간에서의 기울기 흐름의 이산화로 해석될 수 있는가?
• RQ4 기울기 층은 생성자의 표현 능력과 샘플 품질에 어떤 영향을 미치는가?
• RQ5 기존 GAN 및 WGAN보다 더 빠른 수렴과 향상된 성능을 달성하는가?

주요 결과

• CIFAR-10 데이터셋에서, 기울기 층을 적용한 후 Inception 점수가 WGAN-GP의 6.32에서 6.80으로 향상되어 더 빠른 수렴과 향상된 샘플 품질을 나타낸다.
• STL-10 데이터셋에서, 기울기 층을 사용한 결과 Inception 점수가 WGAN-GP의 7.40에서 7.71로 상승하여 일관된 성능 향상을 보였다.
• 예를 들어 8-가우시안 및 25-가우시안 등의 도전적인 토이 데이터셋에서도 사전 훈련 없이 단지 100회의 생성자 반복만으로도 고품질의 샘플 생성을 달성했다.
• 기울기 층 방법은 최종 훈련 단계에서 Inception 점수의 급격한 향상을 보이며 생성자의 표현 능력 최적화가 효과적으로 이루어지고 있음을 시사한다.
• 이론적 분석은 기울기 층이 확률 측도 공간에서의 기울기 흐름의 이산화에 해당함을 확인하며, 체계적인 최적화 프레임워크를 제공한다.
• 기울기 층을 스택함으로써 자연스럽게 깊은 아키텍처를 구성하며, 각 반복이 생성자에 새로운 층을 추가하는 것과 동일시된다.