[논문 리뷰] SGD Learns One-Layer Networks in WGANs

Qi Lei, Jason D. Lee외 2명|arXiv (Cornell University)|2019. 10. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 13

한 줄 요약

이 논문은 다항 시간 및 표본 복잡도를 갖는 하나의 계층 생성자와 제곱형 판별자(예: ReLU, 시그모이드)를 사용하는 일차원 워셔스테인 GAN(WGAN)에서, 확률적 경사 하강-상승(SGDA)이 전역 수렴(global convergence)하여 최적의 생성자를 도출함을 보여준다. 실현 가능성 가정 하에, SGDA는 최적의 통계적 속도인 O(1/√n)을 달성한다.

ABSTRACT

Generative adversarial networks (GANs) are a widely used framework for learning generative models. Wasserstein GANs (WGANs), one of the most successful variants of GANs, require solving a minmax optimization problem to global optimality, but are in practice successfully trained using stochastic gradient descent-ascent. In this paper, we show that, when the generator is a one-layer network, stochastic gradient descent-ascent converges to a global solution with polynomial time and sample complexity.

연구 동기 및 목표

• GAN 학습의 경험적 성공과 이론적 이해 간 격차를 해소하기 위해, 비볼록, 비볼록이 아닌 목표 함수를 갖는 WGAN에서 특히 그러한 격차를 메우는 것.
• 일차원 생성자와 함께 사용되는 확률적 경사 하강-상승(SGDA)의 전역 수렴 보장을 WGAN에서 확립하는 것.
• 현실적인 가정 하에, 하나의 계층 WGAN에서 다항 시간 및 다항 표본 복잡도 학습이 가능함을 보여주는 것.
• 적절히 설계된 제곱형 판별자가 정보 이론적 하한선에 맞는 O(1/√n) 통계적 속도를 보장함을 증명하는 것.
• 비볼록 설정에서도 디스criminator 유도 거리(metric)에서 SGDA가 전역 최적의 생성자로 수렴함을 보여주는 것.

제안 방법

• ReLU, 시그모이드, 리키 레elu 등 일반적인 활성화 함수를 포함하는 넓은 클래스의 활성화 함수를 사용하여, 일차원 생성자와 제곱형 판별자를 갖는 WGAN 목표를 수식화한다.
• 확률적 경사 하강-상승(SGDA)을 통해 최소-최대 최적화 문제를 분석하고, 실현 가능성 조건 하에 전역 최적의 생성자로 수렴함을 증명한다.
• 생성자 품질을 측정하기 위해 디스criminator 유도 거리(metric)를 사용하는 새로운 분석 프레임워크를 도입하여 전역 수렴을 보장한다.
• 집중 경계(Lemmas 4–5)를 활용하여, 확률적 경사가 높은 확률로 진짜 경사와 근접함을 보여준다.
• 두 번째 순서 정류점(SOSP) 분석(ge et al., 2015의 정리 3)을 사용하여, SGDA가 다항 시간 내에 근사 정류점에 도달함을 보여준다.
• 핵심 보조정리(Lemma 7)를 적용하여, 목표 함수의 임의의 ε-일阶 정류점(ε-FOSP)이 프로베니우스 노름 기준으로 진짜 해와 O(ε) 거리 이내임을 증명한다.

실험 결과

연구 질문

• RQ1 비볼록, 비볼록이 아닌 목표 함수를 갖는 하나의 계층 WGAN에서, 확률적 경사 하강-상승(SGDA)이 최적의 생성자로 전역 수렴할 수 있는가?
• RQ2 WGAN 프레임워크 하에서 하나의 계층 생성자를 학습할 때 SGDA의 표본 및 시간 복잡도는 어떻게 되는가?
• RQ3 제곱형 판별자의 사용이 정보 이론적 하한선에 맞는 통계적 속도를 보장하는가?
• RQ4 선형이 아닌 비선형 생성자(예: ReLU, 시그모이드)에서도 전역 수렴을 보장할 수 있는가?
• RQ5 확률적 경사와 집중 경계는 전역 최적 해로의 수렴에 어떻게 영향을 미치는가?

주요 결과

• SGDA는 다항 시간 및 표본 복잡도를 갖는 하나의 계층 WGAN에서 최적의 생성자로 전역 수렴한다.
• 이 방법은 Wu et al. (2019)에서 보여진 하나의 계층 생성자를 학습할 때의 하한선과 일치하는 통계적 속도 O(1/√n)를 달성한다.
• 수렴은 타겟 분포가 생성자의 능력 범위 내에 있을 때 실현 가능성 가정 하에 보장된다.
• 분석을 통해 목표 함수의 임의의 ε-일阶 정류점(ε-FOSP)이 프로베니우스 노름 기준으로 진짜 해와 O(ε) 거리 이내임을 증명한다.
• 확률적 경사가 높은 확률로 진짜 경사와 수렴하여, 알고리즘이 안정적이고 정확하게 유지됨을 보여준다.
• 이전의 선형 생성자 연구(Feizi et al., 2017)를 일반적인 활성함수를 갖는 비선형 하나의 계층 네트워크로 확장한다.