[논문 리뷰] Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games

Kenshi Abe, Mitsuki Sakamoto외 1명|arXiv (Cornell University)|2022. 06. 18.

Game Theory and Applications인용 수 5

한 줄 요약

이 논문은 두 명의 플레이어로 구성된 제로섬 게임에서 행동 확률에 돌연변이 기반의 흔들림을 도입하는 새로운 FTRL(variant)인 변이 FTRL(M-FTRL)을 제안한다. 연속 시간 동역학을 복제자-변이자기 동역학(RMD)으로 모델링함으로써, M-FTRL는 지수 수렴 속도를 가지며 근사 넷저 은둔점에 마지막 반복 수렴(last-iterate convergence)을 달성하며, 전체 정보 및 밴딧 정보 설정 모두에서 FTRL과 옵timistic FTRL를 능가한다.

ABSTRACT

In this study, we consider a variant of the Follow the Regularized Leader (FTRL) dynamics in two-player zero-sum games. FTRL is guaranteed to converge to a Nash equilibrium when time-averaging the strategies, while a lot of variants suffer from the issue of limit cycling behavior, i.e., lack the last-iterate convergence guarantee. To this end, we propose mutant FTRL (M-FTRL), an algorithm that introduces mutation for the perturbation of action probabilities. We then investigate the continuous-time dynamics of M-FTRL and provide the strong convergence guarantees toward stationary points that approximate Nash equilibria under full-information feedback. Furthermore, our simulation demonstrates that M-FTRL can enjoy faster convergence rates than FTRL and optimistic FTRL under full-information feedback and surprisingly exhibits clear convergence under bandit feedback.

연구 동기 및 목표

• 표준 FTRL 및 그 변형에서 시간 평균화 없이 순환하는 경향이 있기 때문에, 마지막 반복 수렴의 부재를 해결하기 위해.
• 넷저 은둔점에 직접 수렴하는, 노리그레트 학습 알고리즘을 개발하기 위해.
• 돌연변이 기반의 흔들림이 학습 동역학을 안정화시키고 부분 정보 피드백 하에서도 수렴 가능하게 할 수 있는지 조사하기 위해.
• 일반적인 정규화 함수와 연속 시간 동역학 하에서 M-FTRL의 이론적 수렴 보장을 수립하기 위해.
• 다양한 게임 설정에서 M-FTRL의 더 빠른 수렴과 강건성에 대해 실증적으로 검증하기 위해.

제안 방법

• M-FTRL는 행동 확률을 변형하기 위해 돌연변이 파라미터 μ를 도입하며, 표준 FTRL 업데이트 규칙에 확률적 흔들림 성분을 추가한다.
• M-FTRL의 연속 시간 동역학은 엔트로피 정규화를 사용할 경우 복제자-변이자기 동역학(RMD)과 동일시됨을 분석 및 증명한다.
• 기준 전략 ci를 사용한 시간 평균 전략 업데이트를 수행하며, 수렴 속도를 가속화하기 위해 적응형 기준 전략을 사용한다.
• 밴딧 피드백의 경우, FTRL 및 O-FTRL와 달리 편향 없는 수익률 추정기기를 필요로 하지 않는 중요도 가중 추정기법을 사용한다.
• 이론적 분석을 통해 M-FTRL 궤적은 RMD의 정적점으로 수렴하며, 엔트로피 정규화 하에서는 지수 수렴을 보임을 증명한다.
• 알고리즘은 고정 또는 적응형 기준 전략을 사용하며, 탐색과 수렴 속도의 균형을 맞추기 위해 돌연변이 파라미터 μ를 조정한다.

실험 결과

연구 질문

• RQ1 FTRL 동역학에서 돌연변이 기반의 흔들림이 두 명의 플레이어로 구성된 제로섬 게임에서 마지막 반복 수렴을 보장할 수 있는가?
• RQ2 전체 정보 피드백 하에서 M-FTRL는 FTRL 및 옵timistic FTRL보다 더 빠른 수렴 속도를 달성하는가?
• RQ3 밴딧 피드백 하에서도 M-FTRL는 마지막 반복 수렴을 유지할 수 있는가? 이는 부분 정보 수익률만 제공되는 조건이다.
• RQ4 M-FTRL 동역학의 정적점은 유일하며 초기 전략 선택에 대해 강건한가?
• RQ5 M-FTRL와 복제자-변이자기 동역학(RMD) 사이의 이론적 관계는 무엇인가?

주요 결과

• 엔트로피 정규화를 사용할 경우, M-FTRL는 지수 수렴 속도를 가지며 RMD의 정적점으로 수렴하며, 이는 새로운 이론적 보장을 확립한다.
• 전체 정보 피드백 하에서, M-FTRL는 FTRL 및 옵티미스틱 FTRL보다 더 빠른 노출 가능도 감소를 달성하며, 적응형 기준 전략이 노출 가능도를 0으로 이끈다.
• 밴딧 피드백 설정에서 M-FTRL는 명확한 마지막 반복 수렴을 보이며, O-FTRL는 수렴하지 못함을 확인하여 부분 정보 하에서도 강건함을 입증한다.
• 엔트로피 정규화 하에서 M-FTRL 동역학은 수학적으로 RMD와 동일하며, 학습 알고리즘과 진화 게임 동역학 사이에 새로운 연결 고리를 제공한다.
• 10×10 및 50×50 크기의 무작위 수익률 게임에서, M-FTRL는 적응형 기준 전략을 사용하여 100개의 인스턴스 평균에서 거의 0에 가까운 노출 가능도를 달성한다.
• M-Eq 및 RBPS 게임에서 확인한 lin, M-FTRL의 정적점은 초기 전략과 무관하게 유일하며, 이는 이론적 유일성 결과를 지지한다.