[논문 리뷰] Generalization of GANs under Lipschitz continuity and data augmentation

Khoat Than, Nghia Vu|arXiv (Cornell University)|2021. 04. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 GAN의 일반화 분석을 철저히 하여 일반화 오차를 생성기, 판별기, 최적화 오차로 분해함으로써 일반화 성능을 향상시키는 이유를 규명한다. 리프시츠 연속성 기반으로 새로운 균일 및 비균일 일반화 경계를 수립하여, 리프시츠 정규화와 데이터 증강이 제로계 및 일阶 손실 정보를 페널라이징함으로써 성능 향상을 이끌어내는 이유를 설명한다.

ABSTRACT

Generative adversarial networks (GANs) have been being widely used in various applications. Arguably, GANs are really complex, and little has been known about their generalization. In this paper, we make a comprehensive analysis about generalization of GANs. We decompose the generalization error into an explicit composition: generator error + discriminator error + optimization error. The first two errors show the capacity of the player's families, are irreducible and optimizer-independent. We then provide both uniform and non-uniform generalization bounds in different scenarios, thanks to our new bridge between Lipschitz continuity and generalization. Our bounds overcome some major limitations of existing ones. In particular, our bounds show that penalizing the zero- and first-order informations of the GAN loss will improve generalization, answering the long mystery of why imposing a Lipschitz constraint can help GANs perform better in practice. Finally, we show why data augmentation penalizes the zero- and first-order informations of the loss, helping the players generalize better, and hence explaining the highly successful use of data augmentation for GANs.

연구 동기 및 목표

• GAN의 일반화 행동을 이해하기 위해, 널리 사용되고 있음에도 불구하고 여전히 잘 이해되지 않는 현상에 기여한다.
• 일반화 오차를 분해하여 생성기 오차, 판별기 오차, 최적화 오차로 분리하는 것을 목표로 한다.
• 기존 일반화 경계의 한계를 극복하기 위해 리프시츠 연속성과 일반화 사이의 새로운 다리를 마련한다.
• 리프시츠 정규화와 데이터 증강의 경험적 성공을 이론적 분석을 통해 설명한다.
• 다양한 훈련 시나리오에 적용 가능한 균일 및 비균일 일반화 경계를 제공한다.

제안 방법

• GAN의 일반화 오차를 생성기 오차, 판별기 오차, 최적화 오차로 세 가지 분리 가능한 성분으로 분해한다.
• 손실 함수의 리프시츠 연속성과 일반화 성능 사이의 새로운 이론적 연결 고리를 도입한다.
• 이 리프시츠 기반 프레임워크를 사용하여 균일 및 비균일 일반화 경계를 도출한다.
• GAN 손실의 제로계 및 일阶 정보를 페널라이징하는 것이 일반화를 향상시킨다는 분석을 수행한다.
• 데이터 증강이 동일한 손실 도함수를 암묵적으로 페널라이징함으로써 일반화 성능을 향상시킨다는 것을 입증한다.
• 통계적 학습 이론의 이론적 도구를 사용하여 모델 용량, 최적화, 일반화 간의 관계를 수식화한다.

실험 결과

연구 질문

• RQ1 GAN의 일반화 오차는 어떻게 해석 가능한 성분들로 공식적으로 분해될 수 있는가?
• RQ2 리프시츠 연속성은 GAN의 일반화를 통제하는 데 어떤 역할을 하는가?
• RQ3 실제로 판별기의 리프시츠 제약을 도입하면 왜 GAN의 일반화 성능이 향상되는가?
• RQ4 데이터 증강은 GAN 훈련에서 일반화 성능 향상에 어떻게 기여하는가?
• RQ5 리프시츠 기반 분석을 통해 GAN에 대해 더 날카롭고 정보가 풍부한 일반화 경계를 유도할 수 있는가?

주요 결과

• GAN의 일반화 오차는 본질적으로 생성기 오차, 판별기 오차, 최적화 오차로 구성되며, 이 중 첫 번째 두 성분은 불가분적이며 최적화 방법과 독립적이다.
• 손실 함수의 리프시츠 연속성이 일반화를 통제하는 핵심 이론적 메커니즘으로 작용하며, 새로운 균일 및 비균일 경계를 가능하게 한다.
• GAN 손실의 제로계 및 일阶 도함수를 페널라이징하면 일반화 성능이 향상되며, 이는 웨이트 클리핑 및 기울기 페널티 방법의 경험적 성공을 설명한다.
• 데이터 증강은 손실의 동일한 제로계 및 일阶 정보를 암묵적으로 페널라이징함으로써 일반화 성능을 향상시키며, 이는 그 광범위한 사용에 대한 이론적 근거를 제공한다.
• 제안된 경계는 이전 연구의 주요 한계를 극복하여 더 정보가 풍부하고 아키텍처 및 훈련 제약 조건이 일반화 성능에 직접적으로 연결됨을 보여준다.
• 분석 결과, 생성기 및 판별기 가족의 용량은 최적화 과정과 무관하게 불가분 일반화 오차에 직접적인 영향을 미친다.