[논문 리뷰] Contextual Games: Multi-Agent Learning with Side Information

Pier Giuseppe Sessa, Ilija Bogunovic외 2명|arXiv (Cornell University)|2021. 07. 13.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 플레이어가 행동하기 전에 맥락에 따라 달라지는 정보를 관찰하는 새로운 유형의 반복 다중에이전트 게임인 맥락 게임을 소개한다. 커널 기반의 규칙성 가정과 새로운 온라인 알고리즘(c.GP-MW)을 활용하여, 하위선형 맥락적 회귀와 맥락적 균형에 수렴함을 입증하고 최적의 복지 수준을 달성하며, 실제 세계와 관련성이 있는 교통로 탐색 실험에서 기준 모델들을 능가한다.

ABSTRACT

We formulate the novel class of contextual games, a type of repeated games driven by contextual information at each round. By means of kernel-based regularity assumptions, we model the correlation between different contexts and game outcomes and propose a novel online (meta) algorithm that exploits such correlations to minimize the contextual regret of individual players. We define game-theoretic notions of contextual Coarse Correlated Equilibria (c-CCE) and optimal contextual welfare for this new class of games and show that c-CCEs and optimal welfare can be approached whenever players' contextual regrets vanish. Finally, we empirically validate our results in a traffic routing experiment, where our algorithm leads to better performance and higher welfare compared to baselines that do not exploit the available contextual information or the correlations present in the game.

연구 동기 및 목표

• 기후나 네트워크 용량과 같은 맥락적 요인이 게임의 역학에 영향을 주는 실제 다중에이전트 시스템을 모델링하기 위해.
• 일반적인 반복 게임이 정적 게임 구조를 가정하는 한계를 해결하기 위해, 실생활에서는 흔히 현실적이지 않은 정적 게임 구조를 가정하지 않도록 하기 위해.
• 동적이고 맥락에 따라 달라지는 환경을 위한 새로운 게임이론적 기준—맥락적 일반화된 상호균형(c-CCE)과 최적의 맥락적 복지—를 정의하기 위해.
• 맥락과 결과 간의 상관관계를 활용하여 개인 플레이어의 맥락적 회귀를 최소화하는 탈중앙화된 온라인 학습 알고리즘을 개발하기 위해.
• 실제 교통로 탐색 시나리오에서 제안된 프레임워크를 경험적으로 검증하여, 전체 시스템의 효율성과 성능 향상을 입증하기 위해.

제안 방법

• 행동 선택 이전에 관찰되는 맥락(예: 네트워크 용량)에 따라 정의되는 맥락 게임이라는 새로운 게임 유형을 제안한다.
• 성능 기준으로 맥락적 회귀를 도입하여, 최적의 맥락 기반 정책 매핑에서의 편차를 측정한다.
• 맥락 간 유사성과 그에 따른 게임 결과를 모델링하기 위해 커널 기반의 규칙성 가정을 활용하여 보다 부드러운 보상 추정을 가능하게 한다.
• 가우시안 프로세스 회귀와 승수 가중치 업데이트를 결합한 새로운 온라인 알고리즘 c.GP-MW를 설계하여 맥락 간 상관관계를 활용한다.
• 행동 및 집합 상태 특징와 맥락 특징를 조합한 복합 커널 함수를 사용하여 보상 의존성 모델링.
• 이론적 회귀 경계를 유도하여, 맥락 집합 크기와 샘플 복잡도 파rameter γT에 의존하는 하위선형 성장의 회귀를 보여주며, 기존 표준 맥락 기반 밴딧 알고리즘보다 우월함을 입증한다.

실험 결과

연구 질문

• RQ1 반복 게임에서 시간에 따라 변화하는 보조 정보(맥락)를 통합함으로써 다중에이전트 학습을 향상시킬 수 있는가?
• RQ2 다양한 맥락과 게임 결과 간의 상관관계를 어떻게 모델링하고 활용하여 다중에이전트 시스템에서 개인의 회귀를 줄일 수 있는가?
• RQ3 맥락 정보가 존재할 경우 어떤 새로운 게임이론적 균형이 나타나며, 이를 학습을 통해 접근할 수 있는가?
• RQ4 탈중앙화된 온라인 알고리즘이 비정적이고 맥락에 따라 달라지는 게임에서 낮은 맥락적 회귀를 달성하면서도 효율적인 결과로 수렴할 수 있는가?
• RQ5 제안된 알고리즘이 맥락을 忽시하거나 그 상관관계를 활용하지 못하는 기준 모델들과 비교해 실제 응용에서 성능이 어떻게 다른가?

주요 결과

• 제안된 c.GP-MW 알고리즘은 O(√(T|Z|log K) + γT√T)의 맥락적 회귀 경계를 달성하며, 행동 수 K에 대해 로그적으로 증가하여 기존 표준 밴딧 알고리즘보다 크게 향상됨을 입증한다.
• 맥락이 확률적이고 비공개일 경우, 알고리즘은 O(√(T log K) + γT√T)의 의사-회귀 경계를 달성하며, 기존 방법들이 맥락 분포를 사전에 알거나 공개되지 않은 보상을 관찰해야 하는 요구 조건을 초월함을 입증한다.
• 교통로 탐색 실험에서 c.GP-MW는 No-Learning, GP-MW, RobustLinExp3 기준 모델들 대비 평균 이동 시간이 낮고 네트워크 혼잡도가 감소함을 보였다.
• c.GP-MW의 규칙(5)을 사용한 전략이 규칙(4)보다 우수했으며, 이는 맥락 정보의 확률적이고 局소적인 성격과 더 잘 부합하기 때문일 것으로 추정된다.
• 이론적 분석 결과, 점점 줄어드는 맥락적 회귀는 맥락적 일반화된 상호균형(c-CCE)과 최적의 맥락적 복지로의 수렴을 암시함을 입증하였다.
• 경험적 결과는 개인의 맥락적 회귀를 최소화하는 것이 전체 시스템의 복지 수준을 높이는 데 기여함을 확인하였으며, 이는 경로 설정 게임의 부드러운 성질과 일치함을 확인하였다.