[논문 리뷰] Cyrus 2D Simulation Team Description Paper2018

Nader Zare, Mohsen Sadeghipour외 8명|arXiv (Cornell University)|2020. 08. 08.

Reinforcement Learning in Robotics참고 문헌 2인용 수 7

한 줄 요약

이 논문은 2D 로보컵 환경에서의 2D 축구 시뮬레이션을 위한 신경망 기반 행동 예측 시스템을 제시한다. 역사적 경기 로그에서 유도된 다층 상태 표현(저, 중, 고 수준)을 사용하며, 200场比赛에서 유래한 50,000개의 샘플로 훈련된 모델은 헬리오스2017 팀의 목표 패assing 수신자를 90%의 정확도로 예측한다. 이는 사이러스 2D 시뮬레이션 팀의 수비 및 공격 의사결정을 크게 향상시킨다.

ABSTRACT

Cyrus 2D Soccer Simulation was established 2012 with the aim of research and develop in multi agents systems. This year we have joined with Ziziphus for collaboration and speed up our researches. This paper express a brief description of a method for predicting player's behavior in a multi agent system using neural network with a dataset in three level (low, mid, high). The dataset was obtained from log files of past years RoboCup's matches. Behavior Prediction is used in block, mark and defensive decisions. The base code that Cyrus used is agent 3.11.

연구 동기 및 목표

• 2D 로보컵 축구 시뮬레이션에서 다중 에이전트 의사결정을 행동 예측 모델링을 통해 향상시키기 위해.
• 이전 로보컵 대회에서의 실제 경기 데이터를 기반으로 훈련된 신경망을 사용해 행동 예측 시스템을 개발하기 위해.
• 실시간으로 상대 팀 및 동료 플레이어의 행동을 예측하여 수비 및 공격 전술을 향상시키기 위해.
• 세 가지 계층적 수준의 상태 표현(저, 중, 고)에서 행동 예측의 효과를 평가하기 위해.
• 점수 기반 할당 알고리즘을 사용해 행동 예측을 사이러스 2D 시뮬레이션 팀의 수비 전술에 통합하기 위해.

제안 방법

• 시스템은 세 수준의 상태 공간을 사용한다: 저수준(92개 기능), 중수준(352개 기능), 고수준(385개 기능)으로, 공의 위치, 속도, 플레이어 위치, 거리, 각도, 팀 전용 지표를 캡처한다.
• 헬리오스2017, 글라이더스2016 및 기타 팀이 참가한 200경기에서 유래한 50,000개 샘플의 데이터셋을 개방형 파이썬 로그 추출기를 사용해 생성하였다.
• 오픈소스 라이선스 하에 제공되는 객체 지향 신경망 C++ 라이브러리를 사용해 피드포워드 신경망을 훈련시켰다.
• 모델은 현재 게임 상태를 기반으로 패assing의 수신자 플레이어를 예측하며, 출력은 각 플레이어가 수신자일 가능성을 나타내는 11차원 벡터이다.
• 수비 전략은 목표선으로부터의 거리와 신경망 출력을 조합한 점수 함수를 사용해 상대 팀을 순위 매기며, 이후 게리 시각 할당 알고리즘을 통해 마크/차단 역할을 배정한다.
• 모든 세 수준에서의 성능를 비교한 결과 고수준 상태 표현이 최적임이 확인되었다.

실험 결과

연구 질문

• RQ1 이력 경기 데이터를 기반으로 훈련된 신경망이 2D 로보컵 축구 시뮬레이션에서 패assing의 의도된 수신자를 정확하게 예측할 수 있는가?
• RQ2 상태 표현의 선택(저, 중, 고)이 행동 예측 정확도에 어떤 영향을 미치는가?
• RQ3 행동 예측 통합이 사이러스 2D 시뮬레이션 팀의 수비 협력 및 팀 성과에 얼마나 기여하는가?
• RQ4 상대 팀 행동 예측이 시뮬레이션 기반 축구 팀의 공격 모방 및 전술 적응에 어떻게 기여하는가?
• RQ5 신경망 예측을 게리 시각 할당 알고리즘에 통합할 경우 마크 및 차단 결정에 얼마나 효과적인가?

주요 결과

• 고수준 상태 표현이 가장 높은 예측 정확도를 기록했으며, 헬리오스2017 팀의 목표 수신자를 식별하는 데 90%의 성공률을 달성했다.
• 중수준 표현은 헬리오스2017 데이터에서 84%의 정확도를 기록했고, 저수준 표현은 81%의 정확도를 기록했다.
• 수비 전략에서 행동 예측 통합으로 인해 상대 팀의 골 기회가 감소했으며, 헬리오스2017(0.8에서 0.9로), 글라이더스2016(1.1에서 1.3으로)와 같은 강팀에 대비해 실점이 감소함을 확인했다.
• 고수준 표현을 사용해 글라이더스2016 데이터에서 89%의 정확도를 기록했으며, 저수준 수준을 초월했다.
• 사이러스2018 팀은 예측을 통한 전술 적응으로 공격 효율이 향상되어 글라이더스2016 전에 1경기당 1.89골을 기록했고, 2017년 대비 3.7골에서 감소했다.
• 신경망 기반 상대 팀 점수 예측을 통한 수비 전략 강화로, 특히 정상급 팀에 대비해 실점이 명백히 감소함을 확인했다.