[논문 리뷰] Navigating the Landscape of Games.

Shayegan Omidshafiei, Karl Tuyls외 10명|arXiv (Cornell University)|2020. 05. 04.

Reinforcement Learning in Robotics참고 문헌 69인용 수 4

한 줄 요약

이 논문은 반응 그래프를 사용하여 게임의 지형을 맵핑하는 네트워크 기반 프레임워크를 소개한다. 이는 게임 간 상대적 복잡성과 상호관계를 정량화한다. 이러한 그래프에 네트워크 측도를 적용함으로써, 하이브리드 경험 게임을 포함한 새로운 흥미로운 게임을 자동으로 발견할 수 있으며, AI 훈련을 더 도전적이고 다양한 환경으로 이끌 수 있다.

ABSTRACT

Games are traditionally recognized as one of the key testbeds underlying progress in artificial intelligence (AI), aptly referred to as the Drosophila of AI. Traditionally, researchers have focused on using games to build strong AI agents that, e.g., achieve human-level performance. This progress, however, also requires a classification of how 'interesting' a game is for an artificial agent. Tackling this latter question not only facilitates an understanding of the characteristics of learnt AI agents in games, but also helps to determine what game an AI should address next as part of its training. Here, we show how network measures applied to so-called response graphs of large-scale games enable the creation of a useful landscape of games, quantifying the relationships between games of widely varying sizes, characteristics, and complexities. We illustrate our findings in various domains, ranging from well-studied canonical games to significantly more complex empirical games capturing the performance of trained AI agents pitted against one another. Our results culminate in a demonstration of how one can leverage this information to automatically generate new and interesting games, including mixtures of empirical games synthesized from real world games.

연구 동기 및 목표

• AI 연구에서 게임의 '흥미로움'에 대한 체계적 분류가 부족하여 최적의 훈련 환경 선택이 저해되는 문제를 해결하기 위해.
• 크기나 도메인에 관계없이 게임의 구조적 복잡성과 상호관계 복잡성을 정량화할 수 있는 확장 가능한 방법을 개발하기 위해.
• 기존 게임 간의 관계를 네트워크 구조로 분석함으로써, 새로운 비트레이스러운 게임을 자동 생성할 수 있도록 하기 위해.
• 점진적으로 더 복잡하고 다양한 게임 환경을 거쳐가는 AI 에이전트의 발전을 지원하는 프레임워크를 제공하기 위해.

제안 방법

• 노드가 게임 상태를 나타내고, 간선이 그들 사이의 유효한 전이를 나타내는 반응 그래프를 게임에서 구성하기.
• 클러스터링 계수, 베타워스 중심성, 경로 길이와 같은 네트워크 과학 측도를 적용하여 반응 그래프의 구조적 특성을 정량화하기.
• 이 네트워크 측도를 사용하여 게임을 공통의 벡터 공간에 매핑함으로써, 위상 유사성 기반의 게임 비교 및 군집화를 가능하게 하기.
• 결과로 도출된 게임 지형을 활용하여, 구조적 병목 현상과 고복잡도 영역을 식별하고, 이를 바탕으로 AI 훈련을 타겟팅하기.
• 특히 훈련된 AI 에이전트에서 유도된 경험 게임들로부터 구조적 모티프를 조합하여 새로운 게임을 생성하기.
• 정규 게임과 실제 AI-vs-AI 경험 게임을 대상으로 한 검증을 통해, 스케일러빌리티와 일반화 능력을 입증하기.

실험 결과

연구 질문

• RQ1 반응 그래프에 네트워크 측도를 적용하여, 다양한 크기와 도메인의 게임에서 구조적 복잡성을 어떻게 체계적으로 정량화할 수 있는가?
• RQ2 게임 간의 관계는 얼마나 잘 공통의 위상 지형에 포괄되고 시각화될 수 있는가?
• RQ3 이 지형을 사용하여 AI 에이전트에게 특히 도전적이거나 새로운 게임을 식별할 수 있는가?
• RQ4 기존 게임의 구조적 특징을 조합함으로써 이 프레임워크가 자동으로 새로운 비트레이스러운 게임을 생성할 수 있는가?
• RQ5 이 지형은 점진적인 AI 훈련을 위한 게임 선택에 어떻게 기여하는가?

주요 결과

• 반응 그래프에 대한 네트워크 측도는 크기나 도메인에 관계없이 다양한 게임 간의 구조적 복잡성과 차이를 의미 있는 방식으로 포착한다.
• 결과로 도출된 게임 지형은 위상 유사성 기반으로 자연스러운 게임 군집을 드러내며, 분류와 비교를 가능하게 한다.
• 특히 높은 클러스터링과 짧은 경로 길이를 가진 고복잡도 게임은 성능 추세에 따라 AI 에이전트에게 더 도전적인 것으로 나타난다.
• 이 프레임워크는 기존 게임의 구조적 특징, 특히 AI 에이전트 대회에서 유도된 경험 게임들로부터의 특징을 조합하여 새로운 게임을 자동으로 합성할 수 있다.
• 이 지형은 AI 훈련의 다양성과 도전성을 극대화하는 데 실질적인 통찰을 제공하며, 점진적인 에이전트 개발을 지원한다.
• 이 방법은 정규 게임과 복잡한 경험 게임 모두에 일반화되며, 강건성과 확장성을 입증한다.