[論文レビュー] Differentiable Game Mechanics

Alistair Letcher, David Balduzzi+5 more|arXiv (Cornell University)|May 13, 2019

Model Reduction and Neural Networks被引用数 32

ひとこと要約

本稿では、ゲームのヤコビ行列を対称的（ポテンシャルゲーム）および反対称的（ハミルトニアンゲーム）な成分に分解することにより、n人プレイヤーの微分可能ゲームの解析と安定化のための新規フレームワークを提示する。この分解を活用して、安定した固定点を探索する一階のアルゴリズムであるSymplectic Gradient Adjustment（SGA）を提案し、モード崩壊を示さない状況においても、ベースラインのGAN学習を上回る性能を発揮することを実証した。

ABSTRACT

Deep learning is built on the foundational guarantee that gradient descent on an objective function converges to local minima. Unfortunately, this guarantee fails in settings, such as generative adversarial nets, that exhibit multiple interacting losses. The behavior of gradient-based methods in games is not well understood -- and is becoming increasingly important as adversarial and multi-objective architectures proliferate. In this paper, we develop new tools to understand and control the dynamics in n-player differentiable games. The key result is to decompose the game Jacobian into two components. The first, symmetric component, is related to potential games, which reduce to gradient descent on an implicit function. The second, antisymmetric component, relates to Hamiltonian games, a new class of games that obey a conservation law akin to conservation laws in classical mechanical systems. The decomposition motivates Symplectic Gradient Adjustment (SGA), a new algorithm for finding stable fixed points in differentiable games. Basic experiments show SGA is competitive with recently proposed algorithms for finding stable fixed points in GANs -- while at the same time being applicable to, and having guarantees in, much more general cases.

研究の動機と目的

• GANのような多目的モデルの勾配ベース学習における収束性および安定性の保証の欠如に対処すること。
• 単純な収束性を超えて、n人プレイヤーの微分可能ゲームにおける同時勾配降下のダイナミクスを理解すること。
• 二対零和ゲームに限定されない広範なクラスのゲームに適用可能な汎用的アルゴリズムを開発すること。
• 非凸的で多目的な学習状況において、安定固定点への収束を理論的に保証すること。
• GANや他の敵対的アーキテクチャにおける、しばしば採用される直感的で不確実な学習ヒューリスティクスの代替手段を提供すること。

提案手法

• 一般化されたヘルムホルツ分解を用いて、ゲームヤコビ行列を対称的および反対称的成分に分解する。
• ポテンシャルゲーム（対称的成分）が、暗黙のポテンシャル関数への勾配降下と同等であることを同定する。
• ハミルトニアンゲーム（反対称的成分）が、古典力学と類似した保存則に従うことを同定する。
• 反対称的成分を用いて勾配更新を補正することで、ダイナミクスを安定化する一階のアルゴリズムとしてSymplectic Gradient Adjustment（SGA）を提案する。
• 回転力が原因で生じる循環を抑制するように、反対称的成分を用いて勾配を調整する。
• ヤコビ行列・ベクトル積や二次の情報が必要とされないため、SGAをGANや他の多目的モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 n人プレイヤーの微分可能ゲームのダイナミクスは、解釈可能な成分に体系的に分解可能か？
• RQ2 ポテンシャルゲームとハミルトニアンゲームの成分は、よく知られた物理的または最適化の原則に対応するか？
• RQ3 この分解に基づく一階のアルゴリズムは、非凸的で多目的なゲームにおいて安定固定点を信頼性高く探索可能か？
• RQ4 SGAは、特にモード崩壊が予期されない状況において、既存の手法に比べてGAN学習の安定化にどの程度優れているか？
• RQ5 提案されたフレームワークは、GANをはるかに超えて、他のマルチエージェントや多目的ディープラーニングアーキテクチャにも応用可能か？

主な発見

• SGAは、モード崩壊が予期されない一様分布のデータ分布に対しても、GANの学習を安定化させ、モード崩壊を示さない。
• 75次元の球状ガウス分布において、RMSPropを用いた通常のGANは共分散行列の固有値のうち1つしか学習できなかったが、SGAは約75個の固有値（範囲：0.6–1.5）を回復した。
• ゲームヤコビ行列の対称的成分はポテンシャルゲームに対応し、勾配降下が安定固定点に収束する。
• 反対称的成分はハミルトニアンゲームに対応し、古典的力学系と類似した保存則に従う。
• SGAは、データ分布の全スペクトル構造を捉える点で、標準的な訓練ベースラインを上回り、真のデータ多様体をよりよくモデル化していることを示している。
• 本手法は汎用的であり、多プレイヤー、非ゼロ和、非双線形ゲームにも適用可能で、二対零和設定に限定されない。