[논문 리뷰] RoboCupSimData: A RoboCup soccer research dataset

Olivia Michael, Oliver Obst외 2명|arXiv (Cornell University)|2017. 11. 06.

Reinforcement Learning in Robotics참고 문헌 11인용 수 3

한 줄 요약

이 논문은 2016–2017년도 최고 수준의 팀들이 참가한 1,125회의 시뮬레이션된 RoboCup 2D 축구 경기를 기반으로 한 대규모 다중 에이전트 로봇 데이터셋인 RoboCupSimData를 소개한다. 이 데이터셋은 전역 기준 상태와 각 로봇의 시점에서의 노이즈가 있는 국소적 인지 데이터를 모두 제공하여, 다중 로봇 학습, 자기 위치 추정, 행동 모델링 분야의 연구를 가능하게 한다.

ABSTRACT

RoboCup is an international scientific robot competition in which teams of multiple robots compete against each other. Its different leagues provide many sources of robotics data, that can be used for further analysis and application of machine learning. This paper describes a large dataset from games of some of the top teams (from 2016 and 2017) in RoboCup Soccer Simulation League (2D), where teams of 11 robots (agents) compete against each other. Overall, we used 10 different teams to play each other, resulting in 45 unique pairings. For each pairing, we ran 25 matches (of 10mins), leading to 1125 matches or more than 180 hours of game play. The generated CSV files are 17GB of data (zipped), or 229GB (unzipped). The dataset is unique in the sense that it contains both the ground truth data (global, complete, noise-free information of all objects on the field), as well as the noisy, local and incomplete percepts of each robot. These data are made available as CSV files, as well as in the original soccer simulator formats.

연구 동기 및 목표

• 다중 에이전트 로봇 환경에서 전역 기준 상태와 국소적 노이즈가 있는 로봇 인지 데이터를 모두 캡처하는 종합적이고 대규모인 데이터셋을 구축하기 위해.
• 불확실성과 부분 관측 가능성과 같은 실제 센서 데이터를 포함한, 다중 로봇 간 협업, 자기 위치 추정, 행동 모델링 연구를 지원하기 위해.
• 제작된 제어된 시뮬레이션 환경에서 실제 세계와 유사한 조건을 제공함으로써, 암시 학습, 강화 학습, 예측 세계 모델링 등의 기계 학습 기법을 평가할 수 있도록 하기 위해.
• 기존 데이터셋의 한계를 극복하기 위해, 고정밀 전역 기준 상태와 1경기당 22대의 에이전트별로 특화된 현실적인 인지 데이터를 모두 포함하기 위해.
• CSV, 원본 로그파일, 시뮬레이터 패치 및 데이터 변환 도구 소스 코드 등 다양한 형식으로 데이터셋을 배포함으로써 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 매 경기당 22대의 로봇에서 100ms 간격으로 시각 및 본체 메시지를 기록하도록 rcssserver 시뮬레이터(v15.3.0)를 수정하였으며, 이는 시야각 설정에 따라 주기적 변동이 가능하다.
• 매 100ms마다 이진 .rcg 형식으로 전역 기준 상태(위치, 속도, 동작)를 기록하였고, 이후 고유의 C++ 도구(rcg2csv)를 사용해 CSV로 변환하였다.
• 시각 센서 메시지를 통해 로봇의 국소적 인지 데이터인 지형 및 이동 물체까지의 거리와 각도를 캡처하였으며, 이는 .rcv 파일에 저장되어 see2csv.py 스크립트를 통해 CSV로 변환되었다.
• 45개의 고유한 팀 조합을 구성하였고, 각 조합은 25번씩 경기를 치르며(1경기당 10분), 총 1,125경기로 229GB의 압축 해제된 데이터를 생성하였다.
• 로봇 명령어(.rcl 파일), 시뮬레이션 설정값, 시뮬레이터 패치 및 데이터 변환 도구 소스 코드 등 추가 데이터를 제공하였다.
• 1,125개의 경기 파일로 데이터를 구조화하였으며, 각 경기 파일은 22개의 국소적 인지 파일(팀당 11개)과 하나의 전역 기준 상태 파일을 포함하며, 모두 CSV 및 원본 형식으로 제공된다.

실험 결과

연구 질문

• RQ1 부분적이고 노이즈가 있는 관측 데이터를 기반으로 훈련된 다중 로봇 시스템이 효과적인 협업 전략을 학습할 수 있는가?
• RQ2 로봇의 국소적 인지 데이터에서 학습된 모델이 정확한 세계 상태 추정 및 자기 위치 추정으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ3 기본 기준 상태와 현실적인 인지 제약 조건을 모두 포함한 데이터셋이 암시 학습 및 강화 학습에 어떤 도움을 줄 수 있는가?
• RQ4 다양한 팀 전략과 행동 양식은 인지 데이터에 어떻게 반영되며, 이러한 패턴은 센서 입력 데이터만으로 모델링하거나 예측할 수 있는가?
• RQ5 센서 주기와 시야각의 변화가 로봇 학습 과제에 대한 인지 데이터의 품질과 유용성에 어떤 영향을 미치는가?

주요 결과

• 1,125회의 전장 10분 경기로 구성되어 총 180시간 이상의 게임 플레이 데이터와 229GB의 압축 해제된 데이터를 포함한다.
• 각 경기에는 22개의 국소적 인지 스트림(로봇당 1개)과 1개의 전역 기준 상태 스트림이 포함되어 있어 다중 에이전트 시점의 완전한 시각을 제공한다.
• 압축된 CSV 데이터는 총 17GB이며, 추가로 원본 로그파일과 명령어 기록 등 다양한 형식으로 제공된다.
• 시뮬레이터가 성공적으로 패치되어 각 로봇의 시각 및 본체 메시지를 기록할 수 있었으며, 이는 인지-행동 루프의 세부 분석을 가능하게 하였다.
• 이 데이터셋은 암시 학습, 자기 위치 추정, 팀 행동 예측 모델링 등 다양한 기계 학습 과제를 지원한다.
• 기본 기준 상태와 국소적 인지 데이터의 동시 제공 덕분에, 불확실성과 부분 관측 조건 하에서 추론해야 하는 모델의 직접 평가가 가능하다.