[논문 리뷰] Automated Planning in Repeated Adversarial Games

Enrique Muñoz de Cote, Archie C. Chapman외 2명|arXiv (Cornell University)|2012. 03. 15.

Artificial Intelligence in Games참고 문헌 10인용 수 11

한 줄 요약

이 논문은 반복적인 적대적 게임에서 이질적인 상대방을 식별하고 黙시적 협력을 이끌어내는 모델 기반 강화학습 알고리즘인 TeamUP를 소개한다. 탐색을 적대적 최적화 문제로 간주하고 보상 형상화를 적용함으로써 TeamUP는 나시 균형 전략을 일관되게 능가하며, 레몬에이드 스탠드 게임 대회에서 원래 우승 전략을 뛰어넘는 최고 성능을 기록한다.

ABSTRACT

Game theory's prescriptive power typically relies on full rationality and/or self-play interactions. In contrast, this work sets aside these fundamental premises and focuses instead on heterogeneous autonomous interactions between two or more agents. Specifically, we introduce a new and concise representation for repeated adversarial (constant-sum) games that highlight the necessary features that enable an automated planing agent to reason about how to score above the game's Nash equilibrium, when facing heterogeneous adversaries. To this end, we present TeamUP, a model-based RL algorithm designed for learning and planning such an abstraction. In essence, it is somewhat similar to R-max with a cleverly engineered reward shaping that treats exploration as an adversarial optimization problem. In practice, it attempts to find an ally with which to tacitly collude (in more than two-player games) and then collaborates on a joint plan of actions that can consistently score a high utility in adversarial repeated games. We use the inaugural Lemonade Stand Game Tournament to demonstrate the effectiveness of our approach, and find that TeamUP is the best performing agent, demoting the Tournament's actual winning strategy into second place. In our experimental analysis, we show hat our strategy successfully and consistently builds collaborations with many different heterogeneous (and sometimes very sophisticated) adversaries.

연구 동기 및 목표

• 기존의 게임 이론 모델이 완전한 이성성 또는 자기대전을 전제로 하여 생기는 한계를 해결하기 위해 이질적 에이전트 상호작용에 초점을 맞춘다.
• 반복적인 상수합 게임을 위한 압축된 표현 방식을 개발하여, 에이전트가 나시 균형을 초월하는 성과를 낼 수 있는 특징를 포착한다.
• 다중 에이전트 적대적 환경에서 다양한 적대자와의 黙시적 협업을 식별하고 형성할 수 있는 계획 알고리즘을 설계한다.
• 실제 경쟁 환경에서의 경험적 평가를 통해 제안된 접근의 유효성을 입증한다.
• 서로 협력하거나 명시적 소통 없이도 자동 계획이 반복적인 적대적 게임에서 일관된 높은 효용을 달성할 수 있음을 보여준다.

제안 방법

• 저자는 반복적인 적대적 게임에서의 계획에 핵심적인 기여를 하는 특징에 중점을 두어, 전략적 상호작용 패tern을 강조하는 새로운 게임 표현 방식을 제안한다.
• TeamUP는 R-max에 영감을 받은 모델 기반 강화학습 프레임워크를 사용하며, 탐색을 적대적 최적화 문제로 간주하기 위한 맞춤형 보상 형상화 메커니즘을 도입한다.
• 알고리즘은 장기적 보상 트레이드오프와 전략적 성향을 분석하여 이질적 적대자 중 잠재적 협력자를 식별한다.
• 암시적 동맹을 전제로 하여 기대 효용을 최대화하는 방식으로 시뮬레이션된 계획을 통해 공동 행동 계획을 수립한다.
• 미래 보상을 추정하고 예측된 상대 행동에 기반한 행동 선택을 유도하기 위해 가치 함수 근사 기법을 사용한다.
• 탐색은 최악의 성능을 최적화함으로써 전략적으로 이끌어내어, 예측 불가능하거나 적대적인 상대에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 에이전트는 반복적인 적대적 게임에서 이질적 적대자와 黙시적 협업을 자동으로 식별하고 형성할 수 있는가?
• RQ2 명시적 소통이나 상호 협력 없이 자동 계획을 어떻게 활용하여 나시 균형 수익을 초월할 수 있는가?
• RQ3 보상 형상화와 적대적 탐색은 반복적인 상수합 게임에서 성능 향상에 얼마나 기여하는가?
• RQ4 모델 기반 강화학습 에이전트는 실제 대회 환경에서 자기대전 전략이나 완전한 이성성 가정에 기반한 전략을 뛰어넘을 수 있는가?
• RQ5 이러한 계획 에이전트는 여러 게임 반복 동안 다양한 상대 행동에 얼마나 일관되게 적응하고 이를 악용할 수 있는가?

주요 결과

• TeamUP는 제1회 레몬에이드 스탠드 게임 대회에서 최고 성과를 기록하며 원래 우승 전략을 능가했다.
• 알고리즘은 다양한 이질적 적대자, 심지어 고도로 발전된 상대들 사이에서도 일관되고 효과적인 협업을 성공적으로 형성했다.
• TeamUP는 다수의 게임 반복과 다양한 상대 유형에 걸쳐 나시 균형 수익을 항상 초월하는 성과를 기록했다.
• 보상 형상화 메커니즘은 탐색을 적대적 최적화 문제로 프레임워크화함으로써 효과적인 탐색을 가능하게 하여 강건성과 수렴성을 향상시켰다.
• 모델 기반 계획 접근법을 통해 TeamUP는 상대 행동을 예측하고 명시적 소통 없이도 공동 행동을 조율할 수 있었다.
• 경험적 결과는 암시적 동맹을 수립하는 자동 계획이 반복적인 적대적 환경에서 표준 게임 이론 기반 전략을 크게 능가할 수 있음을 입증했다.