[논문 리뷰] Learning in Time-Varying Games

Benoît Duvocelle, Panayotis Mertikopoulos외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 73인용 수 11

한 줄 요약

이 논문은 기울기 기반 및 수익 기반 피드백을 모두 사용하는 미러 강하(Mirror Descent, MD) 알고리즘을 활용하여 시간에 따라 변화하는 게임에서의 다중 에이전트 온라인 학습을 연구한다. 게임 시퀀스가 엄격히 단조 증가하는 극한으로 수렴할 경우 MD 정책이 나시 균형에 수렴함을 입증하였으며, 비정상적인 설정에서도 변화하는 균형을 추적함을 보였다. 이는 약한 정규성 조건과 소음 조건 하에서 성립한다.

ABSTRACT

We examine the long-run behavior of multi-agent online learning in games that evolve over time. Specifically, we focus on a wide class of policies based on mirror descent, and we show that the induced sequence of play (a) converges to Nash equilibrium in time-varying games that stabilize in the long run to a strictly monotone limit; and (b) it stays asymptotically close to the evolving equilibrium of the sequence of stage games (assuming they are strongly monotone). Our results apply to both gradient-based and payoff-based feedback - i.e., the "bandit feedback" case where players only get to observe the payoffs of their chosen actions.

연구 동기 및 목표

• 시간에 따라 변화하는 게임에서의 다중 에이전트 온라인 학습의 장기적 행동을 분석하는 것.
• 시간에 따라 변화하는 게임에서 미러 강하 기반 학습 정책이 나시 균형에 수렴하거나 추적할 수 있는지 확인하는 것.
• 기울기 기반 피드백과 수익 기반(밴딧 피드백) 피드백 간의 피드백 유형이 수렴 및 추적 성능에 미치는 영향을 분석하는 것.
• 학습 동역학이 한정된 게임의 나시 균형으로 수렴하거나 비정상적인 설정에서 변화하는 균형을 추적할 수 있는 조건을 설정하는 것.
• 외생적인 게임 변화를 수반하는 시간에 따라 변화하는 환경으로 고정된 게임에서의 결과를 확장함으로써 게임 이론적 학습의 격차를 메우는 것.

제안 방법

• 핵심 학습 정책으로서의 미러 강하(Mirror Descent, MD)를 사용하여, 하향 기울기 강하, 엔트로피 기반 기울기 강하 및 헤지 알고리즘을 일반화함.
• 이산 시간 학습 동역학을 분석하기 위해 확률적 근사 및 보통 미분방정식(ODE) 방법을 적용함.
• 강한 볼록성 조건을 만족하는 거리 생성 함수의 특성을 활용하여, 안정성 및 수렴 한계를 유도하기 위해 브레그만 산란과 프록시멀 매핑을 활용함.
• 플레이어가 선택한 행동 기반으로 노이즈가 있는 기울기 추정치를 제공하는 유연한 오라클 모델을 도입하여, 전체 피드백과 밴딧 피드백 모두를 수용함.
• 시간에 따른 플레이의 진전을 제어하기 위해 가중치 합을 사용한 브레그만 산란과 쌍대 벡터를 조합한 템플릿 부등식을 유도함.
• 수렴이 나시 균형으로 이르기 위해 게임 구조에 대한 대각선 엄격 낙하 및 단조성 조건을 활용함.

실험 결과

연구 질문

• RQ1 게임 시퀀스가 엄격히 단조 증가하는 극한으로 수렴할 경우, 미러 강하 기반 학습 정책이 시간에 따라 변화하는 게임에서 나시 균형에 수렴할 수 있는가?
• RQ2 단계 게임이 수렴하지 않지만 여전히 강한 단조성 조건을 만족할 경우, 이러한 정책이 변화하는 나시 균형을 추적할 수 있는가?
• RQ3 수익 기반(밴딧) 피드백의 가용성이 기울기 기반 피드백 대비 수렴 및 추적 성능에 미치는 영향은 어떠한가?
• RQ4 학습 파rameter와 시간에 따라 변화하는 게임의 구조에 대해 수렴 또는 추적 보장가능한 조건은 무엇인가?
• RQ5 스텝 사이즈 정책과 노이즈 수준은 비정상적인 게임에서 균형 추적 오차와 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 단계 게임의 시퀀스가 엄격히 단조 증가하는 극한으로 수렴할 경우, 유도된 플레이 시퀀스는 극한 게임의 나시 균형으로 확률 1로 수렴한다.
• 수렴하지 않는 시간에 따라 변화하는 게임에서는, 강한 단조성 조건이 만족될 경우 플레이 시퀀스가 단계 게임 시퀀스의 변화하는 균형에 점 渐차적으로 가까워진다.
• 수렴 및 추적 결과는 기울기 기반 피드백뿐 아니라 수익 기반 피드백에서도 성립하여 부분 정보 조건 하에서도 강건함을 입증한다.
• 분석 결과, 게임 구조가 단조성 조건을 만족할 경우, 노이즈가 있는 기울기 추정치 하에서도 학습 동역학이 안정적이고 수렴함을 보였다.
• 브레그만 산란과 가중치 합된 쌍대 벡터를 포함한 새로운 템플릿 부등식을 통해 플레이의 진전을 제어할 수 있었으며, 이는 수렴 분석의 핵심 기반으로 기능하였다.
• 이 프레임워크는 결정론적 및 확률적 설정 모두를 지원하며, 수렴 속도는 행동 공간의 기하학적 특성과 거리 생성 함수의 강한 볼록성 파라미터에 따라 달라진다.