[논문 리뷰] GANGs: Generative Adversarial Network Games

Frans A. Oliehoek, Rahul Savani외 4명|arXiv (Cornell University)|2017. 12. 02.

Reinforcement Learning in Robotics참고 문헌 31인용 수 18

한 줄 요약

이 논문은 생성적 적대적 네트워크 게임(Generative Adversarial Network Games, GANGs)을 소개한다. GANGs는 생성자와 분류기 간의 혼합 전략을 사용하는 유한한 제로섬 게임으로 GAN을 모델링하는 프레임워크이다. 계산적으로 비가역적인 최적 반응을 다루기 위해 자원 제한형 내쉬 균형(Resource-Bounded Nash Equilibrium, RB-NE)를 제안하며, 병렬 내쉬 메모리(Parallel Nash Memory, PNM) 알고리즘을 통해 RB-NE 수렴의 증명 가능하고 단조로운 수렴을 입증함으로써, GAN에서의 모드 붕괴, 부분적 모드 커버리지, 기록 상실 문제를 효과적으로 완화한다.

ABSTRACT

Generative Adversarial Networks (GAN) have become one of the most successful frameworks for unsupervised generative modeling. As GANs are difficult to train much research has focused on this. However, very little of this research has directly exploited game-theoretic techniques. We introduce Generative Adversarial Network Games (GANGs), which explicitly model a finite zero-sum game between a generator ($G$) and classifier ($C$) that use mixed strategies. The size of these games precludes exact solution methods, therefore we define resource-bounded best responses (RBBRs), and a resource-bounded Nash Equilibrium (RB-NE) as a pair of mixed strategies such that neither $G$ or $C$ can find a better RBBR. The RB-NE solution concept is richer than the notion of `local Nash equilibria' in that it captures not only failures of escaping local optima of gradient descent, but applies to any approximate best response computations, including methods with random restarts. To validate our approach, we solve GANGs with the Parallel Nash Memory algorithm, which provably monotonically converges to an RB-NE. We compare our results to standard GAN setups, and demonstrate that our method deals well with typical GAN problems such as mode collapse, partial mode coverage and forgetting.

연구 동기 및 목표

• 모드 붕괴, 부분적 모드 커버리지, 기록 상실과 같은 지속적인 GAN 학습 문제를 해결하기 위해 GAN을 유한한 제로섬 게임으로 모델링하는 것.
• 계산 자원 제약 하에서 근사 최적 반응을 계산하는 데서의 유한한 이성성(bounded rationality)을 포괄하는 해결 개념인 자원 제한형 내쉬 균형(Resource-Bounded Nash Equilibrium, RB-NE)을 개발하는 것.
• 특정 신경망 아키텍처에 종속되지 않는 게임 이론적 알고리즘을 사용해 GAN 학습의 증명 가능 수렴 보장을 제공하는 것.
• 기존의 GAN 목표(예: WGAN, Goodfellow의 히우리스틱)를 유한한 게임 이론적 프레임워크 내에서 통합하고 재해석하는 것.
• 학습 방법과 아키텍처를 분리함으로써 향후 생성자 및 분류기 네트워크의 향상 가능성을 보장하는 것.

제안 방법

• 생성자와 분류기를 혼합 전략을 사용하는 유한한 정규형 제로섬 게임으로 모델링하며, 신경망 파rameterization에 기반한 혼합 전략을 사용한다.
• 계산 자원 제약 하에서 근사 최적 반응을 정의하는 자원 제한형 최적 반응(Resource-Bounded Best-Response, RBBR)를 도입하며, 가용 자원에 기반한 전략의 타당 집합을 정의한다.
• 자원 제한형 내쉬 균형(Resource-Bounded Nash Equilibrium, RB-NE)를 정의하며, 어떤 RBBR로도 개선이 불가능한 혼합 전략 쌍으로, 기울기 기반 局부 최적점 이상의 일반화된 균형을 제공한다.
• 병렬 내쉬 메모리(Parallel Nash Memory, PNM) 알고리즘을 활용하며, 순수 전략 프로파일의 메모리를 유지하고 갱신함으로써 RB-NE로의 증명 가능하고 단조로운 수렴을 보장한다.
• 메모리 기반 접근을 통해 점진적으로 전략을 정밀화하며, 정확한 최적 반응이 불가능한 경우에도 수렴 가능성을 보장한다.
• 혼합 가우시안 분포에서 PNM을 실증적으로 평가하여 모드 커버리지 및 안정성에 대한 성능을 평가한다.

실험 결과

연구 질문

• RQ1 게임 이론적 접근을 통해 혼합 전략의 전역 수렴을 보장함으로써, GAN에서의 모드 붕괴와 기록 상실 문제를 해결할 수 있는가?
• RQ2 계산 자원 제약 하에서 기울기 강하를 초월한 근사 최적 반응을 포괄하는 데서의 유한한 이성성을 어떻게 수학적으로 정의할 수 있는가?
• RQ3 딥러닝 기반 GAN에서 국소 내쉬 균형보다 더 강력한 균형 개념을 제공하는가?
• RQ4 PNM와 같은 증명 가능 수렴 알고리즘을 GAN에 적용하여 안정된 해로 향한 단조로운 개선을 보장할 수 있는가?
• RQ5 기존의 GAN 목표(예: WGAN, Goodfellow의 히우리스틱)는 제안된 유한한 게임 이론적 프레임워크에 어떻게 매핑되는가?

주요 결과

• RB-NE 개념은 국소 내쉬 균형을 초월하여 근사 최적 반응 계산 실패나 무작위 재시작으로 인한 실패를 포함하는 더 넓은 균형 클래스를 포괄한다.
• PNM 알고리즘은 RB-NE로의 증명 가능하고 단조로운 수렴을 보이며, GAN 학습의 안정성에 강력한 이론적 보장을 제공한다.
• 실증 결과에 따르면 PNM은 특히 비대칭적이거나 복잡한 모드 분포에서 모드 붕괴와 부분적 모드 커버리지를 효과적으로 완화한다.
• 이 방법은 기록 상실에 대한 회복력이 있으며, 생성자 출력이 변화하더라도 이전에 학습된 분류기 행동이 유지됨을 보여준다.
• 이 프레임워크는 아키텍처에 종속적이지 않아, 향후 생성자 및 분류기 네트워크의 발전을 직접 통합할 수 있으며 학습 메커니즘을 재작성할 필요가 없다.
• 이론적 분석을 통해 플레이어가 ε-최적 반응을 계산할 수 있다면 PNM 과정이 ε-내쉬 균형으로 수렴함을 입증하며, 수렴 보장 범위를 확장한다.