[논문 리뷰] Connecting GANs, MFGs, and OT

Haoyang Cao, Xin Guo외 1명|arXiv (Cornell University)|2020. 02. 10.

Multimodal Machine Learning Applications참고 문헌 58인용 수 16

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs), 평균장 게임(MFGs), 최적 운반(OT) 간의 이론적 연결을 수립하며, GANs를 파레토 최적성 하에서 MFGs로 프레임워크화하고, 잠재 분포에서 데이터 분포로의 운반 비용을 최소화하는 OT 문제로 간주한다. MFGAN은 두 개의 신경망을 적대적으로 훈련시켜 결합된 HJB 및 포커-플랑크 방정식을 해결하는 GAN 기반 알고리즘을 제안하며, 기존 방법보다 적은 반복 횟수로 고차원 MFG 문제에서 뛰어난 성능을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) have enjoyed tremendous success in image generation and processing, and have recently attracted growing interests in financial modelings. This paper analyzes GANs from the perspectives of mean-field games (MFGs) and optimal transport. More specifically, from the game theoretical perspective, GANs are interpreted as MFGs under Pareto Optimality criterion or mean-field controls; from the optimal transport perspective, GANs are to minimize the optimal transport cost indexed by the generator from the known latent distribution to the unknown true distribution of data. The MFGs perspective of GANs leads to a GAN-based computational method (MFGANs) to solve MFGs: one neural network for the backward Hamilton-Jacobi-Bellman equation and one neural network for the forward Fokker-Planck equation, with the two neural networks trained in an adversarial way. Numerical experiments demonstrate superior performance of this proposed algorithm, especially in the higher dimensional case, when compared with existing neural network approaches.

연구 동기 및 목표

• GANs, MFGs, 최적 운반 간의 이론적 프레임워크를 통합하여 개념적이고 수학적인 연결 고리를 드러내는 것.
• GANs의 적대적 훈련 프레임워크를 활용해 MFG를 해결하는 새로운 계산 방법 MFGAN을 개발하는 것.
• 伝통적 방법이 어려운 고차원 MFG 문제를 해결하는 데 MFGAN의 효과성을 입증하는 것.
• GANs가 잠재 분포에서 데이터 분포로의 운반 비용을 최소화하는 최적 운반 문제로 해석될 수 있음을 보여주는 것.
• 특히 해석적 해가 없는 경우에 복잡한 구조(예: 주기성)를 포착하기 위해 수치적으로 방법을 검증하는 것.

제안 방법

• MFGAN은 MFG의 해를 두 네트워크의 적대적 훈련 구조로 공식화한다: 하나의 네트워크는 뒤집힌 해밀토니안-자코비-벨만(HJB) 방정식을 통해 가치 함수를 학습하고, 다른 하나는 앞서가는 포커-플랑크(FP) 방정식을 통해 밀도 흐름을 학습한다.
• 이 방법은 딥 갈레르킨 방법(DGM) 아키텍처를 사용하여 ReLU 또는 tanh 활성화 함수를 갖는 딥 신경망을 통해 가치 함수 $u_\theta$와 밀도 $m_\omega$를 매개변수화한다.
• 생성기 손실 $\hat{L}_{\text{Val}}$ 은 HJB 방정식의 잔차를 측정하고, 판별기 손실 $\hat{L}_{\text{MF}}$ 는 포커-플랑크 방정식의 잔차를 측정한다.
• 정규화는 $m_\omega$ 가 유효한 확률 밀도가 되도록 보장하기 위해 페널티 항 $\hat{L}_{\text{MF,norm}}$ 을 통해 시행된다.
• 해의 주기성은 대칭 경계점 간의 편차를 페널티하는 추가 페널티 항 $\hat{L}_{\text{Val,per}}$ 과 $\hat{L}_{\text{MF,per}}$ 을 통해 강제된다.
• 알고리즘은 반복마다 $N_\theta = N_\omega = 10$ 단계의 확률적 경사 하강법을 사용하며, 적응형 학습률과 미니배치 샘플링을 통해 효율적인 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 파레토 최적성 하에서 평균장 게임의 관점에서 GANs는 어떻게 해석될 수 있는가?
• RQ2 잠재 분포에서 데이터 분포로의 운반 비용을 최소화하는 관점에서 GANs와 최적 운반 간의 연결 고리는 무엇인가?
• RQ3 GANs의 적대적 훈련 프레임워크는 MFG의 결합된 HJB 및 포커-플랑크 방정식을 해결하는 데 어떻게 적용될 수 있는가?
• RQ4 기존 신경망 기반 접근법에 비해 제안된 MFGAN 방법은 고차원 MFG 문제에서 어떻게 성능을 발휘하는가?
• RQ5 입력의 사전 변환 없이 MFGAN은 주기성과 같은 복잡한 해 구조를 포착할 수 있는가?

주요 결과

• 4차원 MFG 문제에서 MFGAN은 가치 함수에 대해 상대 $l_2$ 오차가 $2 \times 10^{-2}$ 이하, 밀도 함수에 대해 $4 \times 10^{-3}$ 이하로 $8 \times 10^4$ 반복 이내에 달성하였으며, 이는 기존 방법이 $10^6$ 반복이 필요로 한 것보다 뛰어난 성능을 보였다.
• 해석적 해가 없는 8차원 평균기 에르고딕 MFG 문제에서 MFGAN은 결합된 HJB-FP 시스템을 성공적으로 해결했고, 페널티 항을 통해 해의 주기적 구조를 정확히 포착했다.
• 8차원 실험에서 생성기 손실 $\hat{L}_{\text{Val}}$ 은 $10^5$ 반복 후 $10^{-3}$ 이하로 감소했고, 판별기 손실 $\hat{L}_{\text{MF}}$ 는 $10^{-2}$ 수준에 도달했다.
• 고차원 환경에서 안정성과 수렴성을 입증하였으며, 4차원 사례에서 약 $8 \times 10^4$ 반복 후 훈련 결과가 안정화되었다.
• 주기성 강제를 위한 페널티 항의 사용은 입력 변환이나 아키텍처 수정 없이도 대칭적인 해 구조를 포착할 수 있게 하였다.
• 제안된 MFGAN 프레임워크는 필요한 반복 횟수와 훈련 샘플 수를 줄여 기존의 딥 러닝 기반 MFG 솔버에 비해 계산상의 이점을 제공한다.