[論文レビュー] Cyrus 2D Simulation Team Description Paper2018

Nader Zare, Mohsen Sadeghipour+8 more|arXiv (Cornell University)|Aug 8, 2020

Reinforcement Learning in Robotics参考文献 2被引用数 7

ひとこと要約

本論文では、ロボカップ環境における2次元サッカーサイミュレーション向けに、歴史的試合ログから得られる複数レベルの状態表現（低レベル、中レベル、高レベル）を用いた、ニューラルネットワークベースの行動予測システムを提示する。50,000件のサンプル（200試合分）を用いて訓練されたモデルは、Helios2017チームのパスのターゲットレシーバーを90％の正確さで予測し、Cyrus 2D サイミュレーションチームにおけるディフェンスおよびオフェンス意思決定の大幅な向上を実現した。

ABSTRACT

Cyrus 2D Soccer Simulation was established 2012 with the aim of research and develop in multi agents systems. This year we have joined with Ziziphus for collaboration and speed up our researches. This paper express a brief description of a method for predicting player's behavior in a multi agent system using neural network with a dataset in three level (low, mid, high). The dataset was obtained from log files of past years RoboCup's matches. Behavior Prediction is used in block, mark and defensive decisions. The base code that Cyrus used is agent 3.11.

研究の動機と目的

• 2次元ロボカップサッカーサイミュレーションにおけるマルチエージェント意思決定を、選手行動の予測モデリングによって向上させること。
• 過去のロボカップ競技会の実データを用いて訓練されたニューラルネットワークを用いた行動予測システムの開発。
• リアルタイムでの相手および味方選手の行動予測を通じて、ディフェンスおよびオフェンス戦術の強化。
• 状態表現の3段階階層（低、中、高）における行動予測の正確さへの影響を評価すること。
• スコアリングベースのアサインメントアルゴリズムを用いて、行動予測をCyrus 2D サイミュレーションチームのディフェンス戦術に統合すること。

提案手法

• システムは3段階の状態空間（低レベル：92特徴、中レベル：352特徴、高レベル：385特徴）を用い、ボールの位置・速度、選手の位置、距離・角度、チーム固有の指標を捉える。
• Helios2017、Gliders2016、その他のチームを含む200試合のデータから、オープンソースのPythonログ抽出ツールを用いて50,000件のサンプルを生成した。
• オブジェクト指向型ニューラルネットワークC++ライブラリを用いて、オープンソースライセンスのもとでフィードフォワードニューラルネットワークを訓練した。
• モデルは現在の試合状態に基づき、パスのターゲットプレーヤーを予測し、各プレーヤーがレシーバーである確率を示す11次元の出力を生成する。
• ディフェンス戦略では、ゴールへの近さとニューラルネットワーク出力を組み合わせたスコアリング関数を用いて相手をランク付けし、その後、グリーディなアサインメントによりマーク／ブロック役割を割り当てる。
• 高レベルの状態表現が、3つのレベルすべての性能比較の結果、最適であると特定された。

実験結果

リサーチクエスチョン

• RQ1 過去の試合データを用いて訓練されたニューラルネットワークは、2次元ロボカップサッカーサイミュレーションにおいて、パスの意図されたレシーバーを正確に予測できるか？
• RQ2 状態表現の選択（低、中、高）が、行動予測の正確さにどのように影響するか？
• RQ3 行動予測の統合が、Cyrus 2D サイミュレーションチームにおけるディフェンス連携およびチームパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 相手の行動予測は、シミュレーションベースのサッカーチームにおけるオフェンス模倣および戦術的適応を向上させ得るか？
• RQ5 グリーディなアサインメントアルゴリズムにニューラルネットワークの予測を統合することで、マークおよびブロッキング意思決定にどの程度の効果が得られるか？

主な発見

• 高レベルの状態表現が最も高い予測正確さを示し、Helios2017チームのターゲットレシーバーを特定する際の成功率は90％に達した。
• 中レベル表現ではHelios2017データで84％の正確さを達成したのに対し、低レベル表現では81％にとどまった。
• ディフェンス戦略において、行動予測の統合により、相手の得点機会が減少し、特に強力なチーム（Helios2017：0.8から0.9に、Gliders2016：1.1から1.3に）に対する失点数が減少した。
• 高レベル表現を用いることで、Gliders2016データでも89％の正確さを達成し、低レベルより優れた性能を示した。
• Cyrus2018チームは、オフェンス効率が向上し、Gliders2016戦で1試合あたり1.89ゴールを記録した（2017年は3.7ゴール）。これは、予測による戦術的適応の結果である。
• ニューラルネットワークベースの相手スコアリングを統合したディフェンス戦略により、特に上位クラスのチームに対して、失点数の顕著な削減が見られた。