[논문 리뷰] The Mechanics of n-Player Differentiable Games

David Balduzzi, Sébastien Racanière외 4명|arXiv (Cornell University)|2018. 02. 15.

Artificial Intelligence in Games참고 문헌 32인용 수 81

한 줄 요약

본 논문은 2차 게임 역학을 대칭형(포텐셜) 및 반대칭형(해밀토니안) 구성요소로 분해하고, 일반적으로 미분 가능한 게임에서 안정적인 고정점을 찾기 위해 Symplectic Gradient Adjustment (SGA)를 도입하며, GANs에서의 실험을 통해 안정성이 향상됨을 보인다.

ABSTRACT

The cornerstone underpinning deep learning is the guarantee that gradient descent on an objective converges to local minima. Unfortunately, this guarantee fails in settings, such as generative adversarial nets, where there are multiple interacting losses. The behavior of gradient-based methods in games is not well understood -- and is becoming increasingly important as adversarial and multi-objective architectures proliferate. In this paper, we develop new techniques to understand and control the dynamics in general games. The key result is to decompose the second-order dynamics into two components. The first is related to potential games, which reduce to gradient descent on an implicit function; the second relates to Hamiltonian games, a new class of games that obey a conservation law, akin to conservation laws in classical mechanical systems. The decomposition motivates Symplectic Gradient Adjustment (SGA), a new algorithm for finding stable fixed points in general games. Basic experiments show SGA is competitive with recently proposed algorithms for finding stable fixed points in GANs -- whilst at the same time being applicable to -- and having guarantees in -- much more general games.

연구 동기 및 목표

• 다중 목표 및 적대적 아키텍처에서 여러 손실이 상호 작용하는 gradient dynamics 연구의 필요성 제시.
• 게임 dynamics의 Hessian을 대칭 및 반대칭 구성요소로 분해하는 도입.
• 두 가지 해석 가능한 게임 클래스—potential 및 Hamiltonian—를 식별하고 일반적인 방법(SGA)을 개발하여 안정적인 고정점을 찾는다.
• GANs의 실험을 통해 SGA의 효과를 보여주고 이론적 보장을 논의한다.

제안 방법

• 게임 Hessian의 일반화된 Helmholtz decomposition을 대칭 S와 반대칭 A 구성요소로 분해하는(H = S + A) 제안.
• potential games (A = 0) 및 Hamiltonian games (S = 0) 를 정의하고 이를 gradient dynamics 및 보존량과 연관지음.
• Symplectic Gradient Adjustment (SGA): update ξλ = ξ + λ · A⊺ξ 를 도입하여 안정된 고정점으로의 수렴을 촉진.
• desiderata D1–D5 를 제시하여 adjustment가 potential 및 Hamiltonian dynamics와의 호환성을 유지하고 안정적 평형점으로의 수렴을 가속하도록 함.
• λ의 부호 선택 규칙을 도출하여 업데이트를 안정적인 고정점 쪽으로 정렬하고 불안정한 쪽으로부터 멀어지게 함.
• 실무적으로 Hessian-vector product를 이용해 조정을 계산하는 방법(Appendix C) 제시.

실험 결과

연구 질문

• RQ1 일반 n-player differentiable games의 2차 dynamics를 tractable한 구성요소로 분해할 수 있는가?
• RQ2 반대칭적 대칭적 부문이 우세할 때 안정적인 고정점으로의 수렴을 보장할 수 있는가?
• RQ3 Symplectic Gradient Adjustment (SGA)가 GANs와 같은 실용적 설정에서 수렴성과 안정성을 개선하는가?
• RQ4 일반 게임에서 안정적 평형점으로의 수렴을 촉진하도록 조정 부호를 어떻게 선택해야 하는가?
• RQ5 potential 및 Hamiltonian 게임에서 SGA의 이론적 보장과 실험적 성능은 어떠한가?

주요 결과

• 게임의 Hessian은 대칭적 부분과 반대칭적 부분으로 고유하게 분해되며, 이를 통해 potential 및 Hamiltonian 게임 클래스를 얻는다.
• potential games는 gradient descent가 potentials 함수의 지역 최솟값으로 수렴하도록 허용한다.
• Hamiltonian games는 보존량(Hamiltonian)을 허용하고 Hamiltonian에 대한 gradient descent는 로컬 Nash equilibrium으로 수렴한다.
• Symplectic Gradient Adjustment (SGA) 업데이트 ξλ = ξ + λ · A⊺ξ 는 desirable properties를 만족하며 potential 및 Hamiltonian games에서 안정적인 fixed points로 수렴한다.
• SGA는 일반적인 gradient descent보다 더 빠르고 강건한 수렴을 가능하게 하며, 특히 GANs 같은 적대적 설정에서 유리하다.
• 실험은 SGA가 기본 GAN 설정에서 모드 붕괴(mode collapse) 및 모드 hopping을 완화하고 안정성 및 수렴 측면에서 다른 방법들과 비교하여 우수함을 보여준다.