[論文レビュー] RoboCupSimData: A RoboCup soccer research dataset

Olivia Michael, Oliver Obst+2 more|arXiv (Cornell University)|Nov 6, 2017

Reinforcement Learning in Robotics参考文献 11被引用数 3

ひとこと要約

本論文では、2016–2017年のトップチームが参加した1,125試合のシミュレートされたRoboCup 2Dサッカー対戦から得られた大規模かつマルチエージェント型ロボットデータセット、RoboCupSimDataを紹介する。このデータセットは、グローバルな真値状態と各ロボットの視点からのノイズありで局所的な知覚データを提供しており、マルチロボット学習、自己位置決定、行動モデリングに関する研究を可能にする。

ABSTRACT

RoboCup is an international scientific robot competition in which teams of multiple robots compete against each other. Its different leagues provide many sources of robotics data, that can be used for further analysis and application of machine learning. This paper describes a large dataset from games of some of the top teams (from 2016 and 2017) in RoboCup Soccer Simulation League (2D), where teams of 11 robots (agents) compete against each other. Overall, we used 10 different teams to play each other, resulting in 45 unique pairings. For each pairing, we ran 25 matches (of 10mins), leading to 1125 matches or more than 180 hours of game play. The generated CSV files are 17GB of data (zipped), or 229GB (unzipped). The dataset is unique in the sense that it contains both the ground truth data (global, complete, noise-free information of all objects on the field), as well as the noisy, local and incomplete percepts of each robot. These data are made available as CSV files, as well as in the original soccer simulator formats.

研究の動機と目的

• マルチエージェント型ロボット環境におけるグローバル真値と局所的でノイズのあるロボット知覚を捉える包括的かつ大規模なデータセットの構築を目的とする。
• 不確実性や部分観測性を伴う現実世界に似たセンサデータを提供することで、マルチロボット連携、自己位置決定、行動モデリングに関する研究を支援することを目的とする。
• 制御されたが現実的であるシミュレーション環境において、模倣学習、強化学習、予測的世界モデリングなどの機械学習手法のベンチマークを可能にする。
• 既存のデータセットに欠けている点を補うために、高精細な真値と、1試合あたり22台のエージェントごとの現実的な知覚データを含める。
• CSV、元のログファイル、シミュレータのパッチ適用およびデータ変換用のソースコードを含む複数のフォーマットでデータセットを公開することで、再現可能な研究を促進することを目的とする。

提案手法

• 100msごとに、1試合あたり22台のロボットから得られる視覚的およびボディメッセージをログ記録するように、rcssserverシミュレータ（v15.3.0）を改変した。ログの頻度は視野設定に応じて変動する。
• 100msごとにバイナリ形式の .rcg ファイルでグローバル真値状態（位置、速度、行動）を記録し、後でカスタムC++ツール（rcg2csv）を用いてCSVに変換した。
• 視覚センサメッセージを介して、ロボットが認識するランドマークおよび移動物体までの距離と角度といった局所的知覚データを収集し、.rcv ファイルに保存。その後、see2csv.py を用いてCSVに変換した。
• 45の独自のチームペアリングを生成し、それぞれを25回（1試合10分）ずつ実施した。これにより、合計1,125試合となり、圧縮解除済みデータ量は229GBに達した。
• ロボットコマンド（.rcl ファイル）、シミュレーションパラメータ、シミュレータパッチおよびデータ変換ツールのソースコードを含む追加データを提供した。
• データを1,125の試合ファイルに構造化し、各試合ファイルには22台分のローカル知覚ファイル（1チーム11台分）と1つのグローバル真値ファイルが含まれており、すべての形式（CSVおよび元の形式）で利用可能である。

実験結果

リサーチクエスチョン

• RQ1 部分的かつノイズのある観測データを用いてトレーニングされたマルチロボットシステムは、どのように効果的な連携戦略を学習できるか？
• RQ2 ローカルロボット知覚から得られた学習モデルは、世界状態推定や自己位置決定においてどれほど正確に一般化できるか？
• RQ3 模倣学習や強化学習は、真値と現実的な知覚制約を併せ持つデータセットからどのように利益を得られるか？
• RQ4 異なるチーム戦略や行動は、知覚データにどのように現れ、センサ入力のみからそれらをモデル化または予測できるか？
• RQ5 センサの周波数や視野を変化させた場合、ロボット学習タスクにおける知覚データの質と有用性にどのような影響が生じるか？

主な発見

• 1,125試合の完全な10分試合を含み、合計で180時間以上のゲームプレイと229GBの圧縮解除済みデータが得られた。
• 1試合あたり22台分のローカル知覚ストリームと1つのグローバル真値ストリームが含まれており、マルチエージェントの包括的視点が提供される。
• 圧縮済みCSVデータは17GBであり、追加で生のログファイルやコマンド記録が複数のフォーマットで利用可能である。
• 視覚的およびボディメッセージのロギングを可能にするように、シミュレータが正常にパッチ適用され、知覚-行動ループの詳細な分析が可能になった。
• このデータは、模倣学習、自己位置決定、チーム行動の予測モデリングなど、幅広い機械学習タスクをサポートする。
• 真値とローカル知覚の両方が提供されることで、不確実性や部分観測性の下で推論を行うモデルの直接的評価が可能になった。