[论文解读] Cyrus 2D Simulation Team Description Paper2018

Nader Zare, Mohsen Sadeghipour+8 more|arXiv (Cornell University)|Aug 8, 2020

Reinforcement Learning in Robotics参考文献 2被引用 7

一句话总结

本文提出了一种基于神经网络的行为预测系统，用于RoboCup环境下的2D足球模拟，利用从历史比赛日志中提取的多层次状态表示（低、中、高）进行建模。该模型基于200场比赛的50,000个样本进行训练，在Helios2017队伍的传球目标接收者预测中达到90%的准确率，显著提升了Cyrus 2D模拟队伍的攻防决策能力。

ABSTRACT

Cyrus 2D Soccer Simulation was established 2012 with the aim of research and develop in multi agents systems. This year we have joined with Ziziphus for collaboration and speed up our researches. This paper express a brief description of a method for predicting player's behavior in a multi agent system using neural network with a dataset in three level (low, mid, high). The dataset was obtained from log files of past years RoboCup's matches. Behavior Prediction is used in block, mark and defensive decisions. The base code that Cyrus used is agent 3.11.

研究动机与目标

• 通过球员行为的预测建模，提升2D RoboCup足球模拟中的多智能体决策能力。
• 基于过往RoboCup比赛的真实比赛数据，开发一种使用神经网络训练的行为预测系统。
• 通过实时预测对手和队友的动作，提升攻防团队策略的协同性。
• 评估在三种分层状态表示（低、中、高）下行为预测的有效性。
• 通过基于评分的分配算法，将行为预测集成到Cyrus 2D模拟队伍的防守战术中。

提出的方法

• 系统采用三级状态空间：低层（92个特征）、中层（352个特征）和高层（385个特征），捕捉球的位置、速度、球员位置、距离、角度以及团队特定指标。
• 从包含Helios2017、Gliders2016及其他队伍的200场比赛中，使用开源Python日志提取工具生成了50,000个样本的数据集。
• 使用开源许可下的面向对象神经网络C++库训练前馈神经网络。
• 模型根据当前比赛状态预测传球的目标球员，输出为一个11维向量，表示每个球员作为接收者的可能性。
• 防守策略采用评分函数，结合距离球门的远近与神经网络输出，对对手进行排名，随后通过贪心算法分配盯防/阻断角色。
• 在比较所有三个层级的表现后，选定高层状态表示为最优。

实验结果

研究问题

• RQ1 基于历史比赛数据训练的神经网络能否在2D RoboCup足球模拟中准确预测传球的预期接收者？
• RQ2 状态表示的选择（低、中、高）如何影响行为预测的准确性？
• RQ3 将行为预测集成到Cyrus 2D模拟队伍中，能在多大程度上提升防守协调性与团队整体表现？
• RQ4 预测对手行为是否能增强模拟足球队伍的进攻模仿能力与战术适应性？
• RQ5 将神经网络预测结果集成到贪心分配算法中，用于盯防与阻断决策，其有效性如何？

主要发现

• 高层状态表示实现了最高的预测准确率，在识别Helios2017队伍传球目标接收者方面达到90%的成功率。
• 中层表示在Helios2017数据上的准确率为84%，而低层表示达到81%。
• 在防守策略中，行为预测的集成显著减少了对手的得分机会，表现为对阵强队如Helios2017（失球数从0.8降至0.9）和Gliders2016（失球数从1.1降至1.3）时的失球减少。
• 使用高层表示，模型在Gliders2016数据上的准确率达到89%，优于较低层级的表现。
• Cyrus2018队伍在进攻效率方面表现更优，对阵Gliders2016时平均每场进球1.89个，高于2017年的3.7个，表明通过预测实现了战术适应。
• 通过神经网络驱动的对手评分增强防守策略，使队伍在面对顶级对手时失球数显著减少，效果可测量。