[論文レビュー] Connecting GANs, MFGs, and OT

Haoyang Cao, Xin Guo+1 more|arXiv (Cornell University)|Feb 10, 2020

Multimodal Machine Learning Applications参考文献 58被引用数 16

ひとこと要約

本稿は、生成対抗ネットワーク（GANs）、平均場ゲーム（MFGs）、最適輸送（OT）の理論的関連性を確立し、GANsをパレート最適性下でのMFGsとし、潜在分布からデータ分布への輸送コストを最小化するOT問題としてフレーミングする。MFGANと呼ばれるGANベースのアルゴリズムを提案し、2つのニューラルネットワークを敵対的に訓練することで、連立したHJB方程式とフォッカー・プランク方程式を解く。高次元のMFG問題において、従来の手法よりも少ない反復回数で優れた性能を示す。

ABSTRACT

Generative adversarial networks (GANs) have enjoyed tremendous success in image generation and processing, and have recently attracted growing interests in financial modelings. This paper analyzes GANs from the perspectives of mean-field games (MFGs) and optimal transport. More specifically, from the game theoretical perspective, GANs are interpreted as MFGs under Pareto Optimality criterion or mean-field controls; from the optimal transport perspective, GANs are to minimize the optimal transport cost indexed by the generator from the known latent distribution to the unknown true distribution of data. The MFGs perspective of GANs leads to a GAN-based computational method (MFGANs) to solve MFGs: one neural network for the backward Hamilton-Jacobi-Bellman equation and one neural network for the forward Fokker-Planck equation, with the two neural networks trained in an adversarial way. Numerical experiments demonstrate superior performance of this proposed algorithm, especially in the higher dimensional case, when compared with existing neural network approaches.

研究の動機と目的

• GANs、MFGs、最適輸送の理論的枠組みを統合し、それらの概念的および数学的関連性を明らかにすること。
• GANsの敵対的訓練パラダイムを応用して、平均場ゲームを解くための新規計算手法MFGANを開発すること。
• 従来の手法が困難とする高次元MFG問題において、MFGANの有効性を実証すること。
• GANsが、潜在分布からデータ分布への輸送コストを最小化するOT問題として解釈可能であることを示すこと。
• 特に解析的解のないケースにおいて、周期性などの複雑な構造を捉えるために、数値的検証を実施すること。

提案手法

• MFGANは、MFGの解法を2ネットワークの敵対的訓練設定として定式化する：1つのネットワークは後向きのハミルトニアン・ジャコビ・ベルマン（HJB）方程式に従い値関数を学習し、他方のネットワークは前向きのフォッカー・プランク（FP）方程式に従い密度の流れを学習する。
• 両方の値関数 $u_\theta$ および密度 $m_\omega$ を、ReLU もしくは tanh 活性化関数を用いた深層ニューラルネットワークでパラメータ化するため、深層ガラーキン法（DGM）アーキテクチャを用いる。
• 生成器損失 $\hat{L}_{\text{Val}}$ はHJB方程式の残差を測定し、ディスクリミネータ損失 $\hat{L}_{\text{MF}}$ はフォッカー・プランク方程式の残差を測定する。
• 正規化は、$m_\omega$ が有効な確率密度関数のまま保たれるようにするペナルティ項 $\hat{L}_{\text{MF,norm}}$ を通じて実装される。
• 解の周期性は、対称的境界点間のずれをペナルティ化する追加のペナルティ項 $\hat{L}_{\text{Val,per}}$ および $\hat{L}_{\text{MF,per}}$ を用いて強制される。
• アルゴリズムは、1反復あたり $N_\theta = N_\omega = 10$ ステップの確率的勾配降下法を用い、適応的学習率とミニバッチサンプリングを組み合わせて、効率的な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 パレート最適性下での平均場ゲームの観点から、GANsはどのように解釈できるか？
• RQ2 潜在分布からデータ分布への輸送コストを最小化する観点で、GANsと最適輸送の関連性は何か？
• RQ3 GANsの敵対的訓練フレームワークは、MFGにおける連立HJBおよびフォッカー・プランク方程式を解くために適応可能か？
• RQ4 提案されたMFGAN手法は、既存のニューラルネットワーク手法と比較して、高次元MFG問題においてどのように性能を発揮するか？
• RQ5 入力の事前変換なしに、MFGANは周期性といった複雑な解構造を捉えることができるか？

主な発見

• 4次元MFG問題において、MFGANは $8 \times 10^4$ 反復で値関数について $2 \times 10^{-2}$ 未満の相対 $l_2$ 誤差、密度関数について $4 \times 10^{-3}$ の誤差を達成し、$10^6$ 反復を要する従来手法を上回った。
• 解析的解のない8次元定常MFGにおいて、MFGANは連立HJB-FP系を正常に解き、ペナルティ項を用いて解の周期的構造を正確に捉えた。
• 8次元実験では、$10^5$ 反復後に生成器損失 $\hat{L}_{\text{Val}}$ が $10^{-3}$ 未満に低下し、ディスクリミネータ損失 $\hat{L}_{\text{MF}}$ が $10^{-2}$ に達した。
• 高次元設定においても安定性と収束性を示し、4次元ケースでは約 $8 \times 10^4$ 反復後に学習結果が安定した。
• 周期性の強制に用いたペナルティ項のおかげで、入力変換やアーキテクチャの変更なしに、対称的な解の特徴を捉えることができた。
• 提案されたMFGANフレームワークは、必要な反復回数と学習サンプル数を削減し、既存の深層学習ベースのMFGソルバーに比べて計算上の利点を提供した。