[논문 리뷰] Unifying Behavioral and Response Diversity for Open-ended Learning in Zero-sum Games

Xiangyu Liu, Hangtian Jia외 6명|arXiv (Cornell University)|2021. 06. 09.

Experimental Behavioral Economics Studies참고 문헌 3인용 수 9

한 줄 요약

이 논문은 0-합 마르코프 게임에서 개방형 학습을 위한 행동 다양성(BD)과 응답 다양성(RD)을 측정하고 촉진하기 위한 통합 프레임워크를 제안한다. BD는 점유도 측정값의 차이로 정의하고, RD는 게임스케이프 볼록각에 대한 기하학적 투영을 통해 정의함으로써 정책 집단의 다양성을 향상시켜 행렬 게임에서 열등한 탐색 가능성과 높은 집단 효과성을 달성하고, 구글 리서치 풋볼에서 뛰어난 성능을 발휘한다.

ABSTRACT

Measuring and promoting policy diversity is critical for solving games with strong non-transitive dynamics where strategic cycles exist, and there is no consistent winner (e.g., Rock-Paper-Scissors). With that in mind, maintaining a pool of diverse policies via open-ended learning is an attractive solution, which can generate auto-curricula to avoid being exploited. However, in conventional open-ended learning algorithms, there are no widely accepted definitions for diversity, making it hard to construct and evaluate the diverse policies. In this work, we summarize previous concepts of diversity and work towards offering a unified measure of diversity in multi-agent open-ended learning to include all elements in Markov games, based on both Behavioral Diversity (BD) and Response Diversity (RD). At the trajectory distribution level, we re-define BD in the state-action space as the discrepancies of occupancy measures. For the reward dynamics, we propose RD to characterize diversity through the responses of policies when encountering different opponents. We also show that many current diversity measures fall in one of the categories of BD or RD but not both. With this unified diversity measure, we design the corresponding diversity-promoting objective and population effectivity when seeking the best responses in open-ended learning. We validate our methods in both relatively simple games like matrix game, non-transitive mixture model, and the complex extit{Google Research Football} environment. The population found by our methods reveals the lowest exploitability, highest population effectivity in matrix game and non-transitive mixture model, as well as the largest goal difference when interacting with opponents of various levels in extit{Google Research Football}.

연구 동기 및 목표

• 개방형 학습에서 0-합 게임에 대한 일관된 다양성 정의의 부족을 해결하기 위해.
• 행동 다양성과 응답 다양성을 단일 이론적 기반의 측정치로 통합하여 마르코프 게임에 적용 가능하도록 하기 위해.
• 다중 에이전트 학습에서 다양성 촉진 목적함수를 통해 집단 효과성을 향상시키고 탐색 가능성 감소시키기 위해.
• 정책 집단 평가를 위한 탐색 가능성보다 공정한 대안으로 집단 효과성 도입하기 위해.
• 행렬 게임, 비순환 혼합 모델, 구글 리서치 풋볼 환경을 포함한 다양한 환경에서 방법의 타당성 검증하기 위해.

제안 방법

• 정책의 상태-행동 공간에서의 점유도 측정값 간 f-분산을 행동 다양성(BD)으로 정의한다.
• 정책의 응답 벡터가 게임스케이프 볼록각으로부터의 기하학적 거리로 응답 다양성(RD)을 정의하며, 실용적 최적화를 위한 하한을 제공한다.
• 학습 가능한 가중치 λ₁과 λ₂를 사용해 BD와 RD를 통합한 다각도 목적함수를 구성한다.
• 대상 혼합 정책 계산을 위해 메타게임에서의 나시 균형을 사용해 상대 정책를 계산한다.
• 강화학습 기반 또는 간소화된 기울기 기반 최적화(예: 정리 1 및 2를 통한)를 통해 정책을 다양하고 높은 효과성의 응답으로 갱신한다.
• 행렬 게임용(알고리즘 3)과 미분 게임용(알고리즘 4)의 두 가지 알고리즘 변형을 구현하며, BD와 RD에 대해 별도의 최적화 목표를 설정한다.

실험 결과

연구 질문

• RQ1 0-합 게임에서 다중 에이전트 개방형 학습을 위한 행동 다양성과 응답 다양성을 공식적으로 통합해 단일 측정치로 만들 수 있는가?
• RQ2 BD와 RD를 함께 최적화할 경우 비순환 게임에서 집단의 탐색 가능성과 효과성에 어떤 영향을 미치는가?
• RQ3 제안된 집단 효과성 지표는 정책 집단의 강도 평가에서 탐색 가능성보다 더 공정하고 정보적인가?
• RQ4 Google Research Football과 같은 복잡한 환경에서 통합 다양성 측정치는 성능 향상에 얼마나 기여하는가?
• RQ5 하이퍼파rameter λ₁과 λ₂에 의해 제어되는 행동 다양성과 응답 다양성 간 최적의 균형은 무엇인가?

주요 결과

• 행렬 게임에서 제안된 방법은 기준선 대비 가장 낮은 탐색 가능성과 가장 높은 집단 효과성을 달성했으며, BD&RD를 포함한 PSRO는 RD만 포함한 PSRO보다 우수한 성능을 보였다.
• 비순환 혼합 모델에서 통합 다양성 접근법은 한 가지 다양성 유형에 의존하는 방법보다 더 효과적이고 강건한 정책 집단을 도출했다.
• 구글 리서치 풋볼에서 이 방법은 다양한 실력 수준의 상대편과의 경기에서 가장 큰 골 차이를 기록했으며, 뛀아난 일반화 능력과 적응 능력을 입증했다.
• 제거 실험 결과, λ₂(응답 다양성 가중치)를 0.5로 설정했을 때 가장 우수한 성능를 기록해 두 다양성 유형이 균형 잡힌 기여를 했다는 것을 확인했다.
• 집단 효과성 지표는 비순환 설정에서 탐색 가능성보다 더 공정하고 정보적인 평가 지표로 입증되었으며, 특히 비순환 환경에서 유의미한 성능 향상을 보였다.
• 통합 프레임워크는 정책 행동과 응답 역학을 성공적으로 포괄했으며, 다양한 환경에서 이론적 및 실증적 검증을 통해 타당성을 입증했다.