[論文レビュー] Navigating the Landscape of Games.

Shayegan Omidshafiei, Karl Tuyls+10 more|arXiv (Cornell University)|May 4, 2020

Reinforcement Learning in Robotics参考文献 69被引用数 4

ひとこと要約

この論文では、応答グラフを用いてゲームのランドスケープをマッピングするネットワークベースのフレームワークを提案する。このフレームワークにより、ゲームの相対的な複雑さと相互関係が定量的に評価可能となり、ネットワーク指標を応用することで、新しい興味深いゲーム（特にハイブリッドな実験的ゲームを含む）の自動発見が可能になり、AIの訓練をより困難で多様な環境へと導くことができる。

ABSTRACT

Games are traditionally recognized as one of the key testbeds underlying progress in artificial intelligence (AI), aptly referred to as the Drosophila of AI. Traditionally, researchers have focused on using games to build strong AI agents that, e.g., achieve human-level performance. This progress, however, also requires a classification of how 'interesting' a game is for an artificial agent. Tackling this latter question not only facilitates an understanding of the characteristics of learnt AI agents in games, but also helps to determine what game an AI should address next as part of its training. Here, we show how network measures applied to so-called response graphs of large-scale games enable the creation of a useful landscape of games, quantifying the relationships between games of widely varying sizes, characteristics, and complexities. We illustrate our findings in various domains, ranging from well-studied canonical games to significantly more complex empirical games capturing the performance of trained AI agents pitted against one another. Our results culminate in a demonstration of how one can leverage this information to automatically generate new and interesting games, including mixtures of empirical games synthesized from real world games.

研究の動機と目的

• AI研究におけるゲームの「興味深さ」の体系的分類の欠如が、最適な訓練環境の選定を妨げているのを是正すること。
• サイズやドメインにかかわらず、ゲームの構造的・関係的複雑さを定量的に測定するスケーラブルな手法を開発すること。
• 既存のゲーム間の関係をネットワークトポロジーを分析することで、新しい非自明なゲームの自動生成を可能にすること。
• AIエージェントが徐々に複雑で多様なゲーム環境へと進化できるフレームワークを提供すること。

提案手法

• ノードがゲーム状態を表し、エッジがそれらの間の有効な遷移を表す応答グラフをゲームから構築すること。
• クラスタリング係数、媒介性中心性、経路長といったネットワーク科学的手法を用いて、応答グラフの構造的特性を定量すること。
• これらのネットワーク指標を用いてゲームを共通のベクトル空間に埋め込み、トポロジカル類似性に基づくゲームの比較とクラスタリングを可能にすること。
• 得られたゲームランドスケープを活用し、構造的ボトルネックや高複雑度領域を特定し、AI訓練に向けた的確なターゲティングを可能にすること。
• 複数のソースゲームからの構造的モチーフを組み合わせることで新しいゲームを生成すること、特に訓練済みAIエージェントから得られる実験的ゲームを対象とすること。
• 代表的なゲームと現実世界のAI対AI実験的ゲームを対象にアプローチのスケーラビリティと一般化能力を検証すること。

実験結果

リサーチクエスチョン

• RQ1 応答グラフ上のネットワーク指標を用いて、ゲームの構造的複雑さを体系的に定量的に評価する方法は何か？
• RQ2 ゲーム間の関係は、共通のトポロジカルランドスケープにおいてどの程度正確に捉えられ、可視化できるか？
• RQ3 このランドスケープは、AIエージェントにとって特に困難または新しいゲームを特定するために利用できるか？
• RQ4 このフレームワークは、既存ゲームの構造的特徴を組み合わせることで、自動的に新しい非自明なゲームを生成できるか？
• RQ5 このランドスケープは、プログレッシブなAI訓練のためのゲーム選択にどのように寄与するか？

主な発見

• 応答グラフ上のネットワーク指標は、サイズやドメインが異なるゲーム間で、複雑さや構造の意味のある差を的確に捉えている。
• 得られたゲームランドスケープは、トポロジカル類似性に基づく自然なグループ化を示しており、ゲームの分類と比較を可能にしている。
• 特に高いクラスタリング係数と短い経路長を示す高複雑度ゲームは、パフォーマンスのトレンドからもAIエージェントにとってより困難であることが示されている。
• このフレームワークは、既存ゲーム（特にAIエージェントコンペティションから得られる実験的ゲームを含む）の構造的特徴を組み合わせることで、新しいゲームの自動合成を可能にしている。
• ランドスケープは、AI訓練の多様性と挑戦性を最大化するための実用的インサイトを提供し、プログレッシブなエージェント開発を支援している。
• このアプローチは、代表的なゲームと複雑な実験的ゲームの両方で一般化され、強固さとスケーラビリティが実証されている。