[論文レビュー] DeepMind Control Suite

Yuval Tassa, Yotam Doron+10 more|arXiv (Cornell University)|Jan 2, 2018

Reinforcement Learning in Robotics参考文献 7被引用数 521

ひとこと要約

この論文は DeepMind Control Suite を紹介します。MuJoCo 上に構築された連続制御タスクのコレクションで、標準化されたインターフェースと解釈可能な報酬を備え、状態ベースおよびピクセル観測の両方でベンチマークのベースライン（A3C、DDPG、D4PG）を提示します。

ABSTRACT

The DeepMind Control Suite is a set of continuous control tasks with a standardised structure and interpretable rewards, intended to serve as performance benchmarks for reinforcement learning agents. The tasks are written in Python and powered by the MuJoCo physics engine, making them easy to use and modify. We include benchmarks for several learning algorithms. The Control Suite is publicly available at https://www.github.com/deepmind/dm_control . A video summary of all tasks is available at http://youtu.be/rAai4QzcYbs .

研究の動機と目的

• 強化学習における連続制御の標準化され解釈可能なベンチマークスイートを提供する。
• 既存の Gym/ALE ワークロードを超えた物理安定性、解決性、拡張性を確保する。
• エージェントとタスク間のベンチマーキングと比較を容易にする統一APIを提供する。
• 特徴ベースおよびピクセルベースの観測の両方で確立済みRL手法のベースライン性能を実証する。

提案手法

• 観測、作用、報酬構造を一貫させた連続制御ドメインのセットを定義する。
• 物理シミュレーションには MuJoCo を用い、タスクの改変と拡張を容易にするため Python を使用する。
• 物理安定性と非改竄可能でないタスク設計を保証する検証実践を確立する。
• 環境.Base と suite.load による統一タスクアクセスを提供する強化学習APIを提供する。
• 状態特徴とピクセル入力の両方のバリアントで、標準化された評価プロトコルを用いて三つのアルゴリズム（A3C、DDPG、D4PG）をベンチマークする。
• 再現性のためのデータ収集とトレーニング設定を、ネットワークアーキテクチャとハイパーパラメータを含めて説明する。

実験結果

リサーチクエスチョン

• RQ1 標準化された連続制御タスクのスイートは、RLエージェントの公正なベンチマーキングをどのように促進できるか？
• RQ2 Control Suite 内の状態ベースおよびピクセルベースの観測における A3C、DDPG、D4PG のベースライン性能はどの程度か？
• RQ3 報酬、時間ステップ、割引の選択は、連続制御ベンチマークにおける学習曲線と解釈性にどのように影響するか？
• RQ4 スイートの設計は物理的不安定さの悪用を防ぎ、学習エージェントによって解決可能であることを保証できるか？

主な発見

• D4PG はすべての指標とタスクで最も高い性能を示し、1e7 環境ステップ前は DDPG がデータ効率が高い（総合結果に基づく）。
• スイートは状態由来の特徴と生のピクセル入力の両方のベースライン結果を提供し、A3C、DDPG、D4PG の比較を含む。
• 学習曲線と総合指標は、タスクとシード間で解釈可能かつ標準化されるよう設計されている。
• ベンチマーク結果には複数のシードを含み、タスクレベルのばらつきを5パーセンタイルから95パーセンタイルの帯として報告する。
• 著者はタスクの安定性と非改竄設計を多エージェントテストと繰り返しによって強調する。