[論文レビュー] Benchmark Environments for Multitask Learning in Continuous Domains

Peter Henderson, Wei-Di Chang+4 more|arXiv (Cornell University)|Aug 14, 2017

Adversarial Robustness in Machine Learning参考文献 14被引用数 17

ひとこと要約

本論文は、OpenAI Gymに基づく50以上の連続的制御強化学習環境で構成される標準化されたベンチマークスイートを紹介する。このスイートは、マルチタスク学習、転移学習、生涯学習の評価を目的として設計されている。信頼領域方策最適化（TRPO）をベースラインとして用いることで、重力やボディの形状の変化が、特に深刻な消去（catastrophic forgetting）を引き起こすことが示された。一方で、安定したダイナミクスは前向きの転移を可能にし、異なる手法間の公平な比較の基盤を確立した。

ABSTRACT

As demand drives systems to generalize to various domains and problems, the study of multitask, transfer and lifelong learning has become an increasingly important pursuit. In discrete domains, performance on the Atari game suite has emerged as the de facto benchmark for assessing multitask learning. However, in continuous domains there is a lack of agreement on standard multitask evaluation environments which makes it difficult to compare different approaches fairly. In this work, we describe a benchmark set of tasks that we have developed in an extendable framework based on OpenAI Gym. We run a simple baseline using Trust Region Policy Optimization and release the framework publicly to be expanded and used for the systematic comparison of multitask, transfer, and lifelong learning in continuous domains.

研究の動機と目的

• 連続的制御領域におけるマルチタスク学習のための標準化されたベンチマークの欠如に対処すること。
• OpenAI Gymに基づく拡張可能でオープンソースのフレームワークを構築し、マルチタスク、転移、生涯学習RLアルゴリズムの体系的評価を可能にすること。
• 学習の順序に伴い深刻な消去を引き起こすか、あるいは前向きの転移を可能にする環境の変更要因を同定し、手法間の公平な比較を可能にすること。
• TRPOを用いたベースライン性能を多様なタスクグループにわたって公開し、今後の研究の基準点を確立すること。
• 再現可能性を促進し、コミュニティ主導でのベンチマーク環境の拡張を促進すること。

提案手法

• OpenAI Gymの標準的なMuJoCo環境を拡張し、重力、部品のサイズ、障害物、センサーノイズなどの物理パラメータを変更することで、環境を拡張する。
• ランダムな開始位置・ゴール位置と壁障害物を備えた新しいナビゲーションタスクを導入し、一般化能力と探索能力を評価する。
• 固定されたアーキテクチャ（100-50-25 ReLU、tanh出力）とハイパーパramータを用いたTRPOを適用し、各グループ内の環境を逐次的に訓練する。
• 最終方策が以前に訓練済みの環境すべてでテストされることで、前向きの転移と消去の程度を測定する一般化能力を評価する。
• 各環境で20回のロールアウトを実施し、平均累積報酬と標準偏差を報告する。
• フレームワークを公開することで、コミュニティによる貢献、新たな環境バージョンの開発、アルゴリズムベンチマークの実施を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的制御環境の標準化が、マルチタスクおよび生涯学習RLアルゴリズムの公平かつ体系的な比較を可能にするか？
• RQ2 物理的パラメータの変更（例：重力、ボディサイズ）が、逐次的訓練において深刻な消去を引き起こす程度はどの程度か？
• RQ3 どの環境の変更において前向きの転移が発生するのか？また、どのようなダイナミクスがタスク間の一般化を支援するか？
• RQ4 報酬の遅延が顕著な複雑な連続的制御タスクにおいて、TRPOは一般化可能な方策を学習するのにどの程度効果的か？
• RQ5 スプライス報酬と高次元の状態空間を有するナビゲーションタスクは、生涯学習のための有効なベンチマークとして機能するか？

主な発見

• 重力が変化するHopper環境では、順次訓練が進むにつれて、初期のタスクでの性能が著しく低下し、深刻な消去が生じることが示された。
• 最終方策が以前に訓練済みのHopper環境（例：HopperGravityHalf-v0）で示す性能は990.95 ± 1022.32に低下するが、各環境で訓練直後は高い性能（例：2603.70 ± 881.54）を示すため、消去が確認された。
• 安定したダイナミクスを有するWalker2dおよびHalfCheetahの変種では、最終方策が初期学習や中間方策を上回る性能を示し、前向きの転移が確認された。
• Humanoidおよび壁障害物タスクでは、TRPOが1000イテレーション以内に効果的な方策を学習できず、報酬は初期値の-1000に近い水準を維持した。
• ナビゲーションタスクでは、デフォルトのTRPO設定下で、エージェントはゴールに到達する学習に失敗した。これは、スプライス報酬と高い変動性を有する環境における探索能力の限界を示している。
• このフレームワークは、一般化が可能な環境グループ（例：安定したダイナミクス）と不可能なグループ（例：高動的摂動）を的確に特定でき、将来的な手法の診断ツールとしての有効性を示した。