[논문 리뷰] Stable Opponent Shaping in Differentiable Games

Alistair Letcher, Jakob Foerster외 3명|arXiv (Cornell University)|2018. 11. 20.

Reinforcement Learning in Robotics참고 문헌 25인용 수 10

한 줄 요약

이 논문은 다양한 기울기 없는 게임에서 수렴 보장과 적대자 형태 조절 능력을 결합한 새로운 알고리즘인 안정적 적대자 형태 조절(SOS)을 소개한다. SOS는 모든 $n$-플레이어 비볼록 기울기 가능한 게임에서 국소 수렴과 엄격한 안장점 회피를 보장하며, 반복적 협력자 딜레마와 가우시안 혼합 모델링과 같은 과제에서 LOLA보다 안정성과 성능 면에서 뛰어나다.

ABSTRACT

A growing number of learning methods are actually differentiable games whose players optimise multiple, interdependent objectives in parallel -- from GANs and intrinsic curiosity to multi-agent RL. Opponent shaping is a powerful approach to improve learning dynamics in these games, accounting for player influence on others' updates. Learning with Opponent-Learning Awareness (LOLA) is a recent algorithm that exploits this response and leads to cooperation in settings like the Iterated Prisoner's Dilemma. Although experimentally successful, we show that LOLA agents can exhibit 'arrogant' behaviour directly at odds with convergence. In fact, remarkably few algorithms have theoretical guarantees applying across all (n-player, non-convex) games. In this paper we present Stable Opponent Shaping (SOS), a new method that interpolates between LOLA and a stable variant named LookAhead. We prove that LookAhead converges locally to equilibria and avoids strict saddles in all differentiable games. SOS inherits these essential guarantees, while also shaping the learning of opponents and consistently either matching or outperforming LOLA experimentally.

연구 동기 및 목표

• 기울기 가능한 $n$-플레이어 비볼록 게임에 대해 기존 알고리즘들이 이론적 수렴 보장을 제공하지 못하는 문제를 해결한다.
• 실험적으로 성공함에도 불구하고 고정점으로 수렴하지 못하는 LOLA의 '자기 중심적' 행동 원인을 규명하고 해결한다.
• 다중 에이전트 학습에서 수렴 안정성과 적대자 형태 조절 능력을 모두 유지하는 방법을 개발한다.
• 이론적으로 안정적이지만 수동적인 알고리즘(LookAhead 등)과 실험적으로 효과적이지만 불안정한 알고리즘(LOLA 등) 사이의 격차를 메운다.

제안 방법

• 고정점을 유지하기 위해 업데이트 규칙을 수정함으로써 안정성을 보장하는 LOLA의 변종인 LookAhead(LA)를 제안한다.
• 고정점 반복과 동역학 시스템 이론을 사용하여 LookAhead가 모든 기울기 가능한 게임에서 국소적으로 균형점으로 수렴하고 엄격한 안장점을 피하는 것을 증명한다.
• LOLA와 LookAhead 사이의 볼록 보간을 통해 이론적으로 타당한 기준을 사용해 탐색과 안정성의 균형을 이루는 SOS를 설계한다.
• 보간 계수에 대해 두 가지 기준을 적용한다: 적대자 손실 동역학 기반 기준과 수렴 안정성 기반 기준으로, 강건성을 확보한다.
• 안정 다변환 정리를 사용하여 SOS 하에서 불안정한 균형점으로의 수렴 확률이 0임을 보여준다.
• 다중 에이전트 강화 학습과 GAN에 SOS를 구현하여 협력성 및 모드 커버리지 과제에서 LOLA, SGA, CO, LA와 성능을 비교한다.

실험 결과

연구 질문

• RQ1 왜 일부 기울기 가능한 게임에서 LOLA는 수렴하지 못하며, 그 '자기 중심적' 행동의 원인은 무엇인가?
• RQ2 LookAhead처럼 이론적으로 안정적인 알고리즘이 적대자 형태 조절 능력을 갖추면서도 수렴 보장을 유지할 수 있는가?
• RQ3 LookAhead의 수렴 성질과 LOLA의 전략적 형태 조절 능력을 결합한 하이브리드 알고리즘을 설계할 수 있는가?
• RQ4 실제로 SOS는 협력적 및 비협력적 환경에서 LOLA 및 기타 기준보다 어떻게 성능을 발휘하는가?
• RQ5 SOS는 다중 모달 분포에서 GAN 학습 중 모드 붕괴와 모드 이동을 피할 수 있는가?

주요 결과

• 제안된 타란드 게임에서 LOLA는 실험적 성공에도 불구하고 고정점으로 수렴하지 못하는 '자기 중심적' 행동을 보였다.
• LookAhead는 모든 기울기 가능한 게임에서 국소적으로 균형점으로 수렴하고 엄격한 안장점을 피하는 것을 증명하였으며, 이는 기울기 기반 방법이 아닌 최초의 수렴 보장 사례이다.
• SOS는 LookAhead의 이론적 수렴 보장을 계승하면서도 실험적으로 LOLA와 동등하거나 슈퍼어리어를 기록하였으며, 반복적 협력자 딜레마에서 티트포타트 전략 성능도 확보하였다.
• 가우시안 혼합 모델링에서 SOS는 모드 커버리지와 KL 발산 감소 면에서 CO 및 SGA와 동등하거나 슈퍼어리어를 기록하였으며, LOLA보다 더 빠른 수렴 속도와 높은 안정성을 확보하였다.
• SOS는 지속적인 모드 이동을 피하고 시간이 지남에 따라 낮은 $\|\xi\|$ (기울기 불일치) 수준을 유지하는 반면, LOLA는 일반적으로 8,000~10,000 반복 이후에 발산하는 경향이 있었다.
• 이론적 분석을 통해 SOS 하에서 불안정한 균형점으로의 수렴 확률이 안정 다변환 정리에 의해 0임을 확인하였으며, 이는 강건성을 확인한다.