[論文レビュー] Delay-Aware Model-Based Reinforcement Learning for Continuous Control

Baiming Chen, Mengdi Xu+2 more|arXiv (Cornell University)|May 11, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 8

ひとこと要約

本稿では、行動遅延をシステムダイナミクスの一部として明示的にモデル化することで、効率的で転送可能な学習を可能にする、連続制御を対象とした遅延対応型モデルベース強化学習フレームワークを提案する。ダイナミクスを既知の遅延成分と未知のシステムダイナミクスに分解することにより、即時の環境では標準的なモデルフリー強化学習と同等の性能を達成するとともに、さまざまな遅延時間にわたっても安定性と転送性を維持する。

ABSTRACT

Action delays degrade the performance of reinforcement learning in many real-world systems. This paper proposes a formal definition of delay-aware Markov Decision Process and proves it can be transformed into standard MDP with augmented states using the Markov reward process. We develop a delay-aware model-based reinforcement learning framework that can incorporate the multi-step delay into the learned system models without learning effort. Experiments with the Gym and MuJoCo platforms show that the proposed delay-aware model-based algorithm is more efficient in training and transferable between systems with various durations of delay compared with off-policy model-free reinforcement learning methods. Codes available at: https://github.com/baimingc/dambrl.

研究の動機と目的

• 実世界の強化学習システムにおいて、行動遅延によって引き起こされる性能低下と不安定性を解消すること。
• 行動遅延が存在する状況でもマルコフ性を保つ形式的な遅延対応型マークフ・意思決定過程（DA-MDP）を定義すること。
• 複数ステップ遅延を学習済みのダイナミクスに組み込むことで、追加の学習作業を要せず、モデルベース強化学習フレームワークを開発すること。
• 異なる遅延時間にわたる環境間で学習済みのダイナミクスモデルを転送可能にすることにより、シミュレーションから実世界への展開を促進すること。
• オフポリシー型モデルフリーベースラインと比較して、遅延が生じる連続制御タスクにおけるサンプル効率と計画性能を向上させること。

提案手法

• 状態空間に遅延付きの行動履歴を追加することで、マルコフ性を保つ形式的な遅延対応型マークフ意思決定過程（DA-MDP）を定義する。
• DA-MDPを拡張状態を備えた標準的なMDPに変換する理論的根拠を提供するため、遅延対応型マークフ報酬過程（DA-MRP）を導入する。
• システムダイナミクスを2つの部分に分解する：行動遅延に起因する既知の成分と、元のシステムダイナミクスに起因する未知の成分。
• PETS（確率的アンサンブルと軌道サンプリング）に遅延効果の明示的モデリングを統合することで、遅延対応型軌道サンプリング（DATS）アルゴリズムを開発する。
• 既知の遅延成分を用いて将来の状態遷移を事前に計算することで、追加の訓練データの必要性を低減し、計画効率を向上させる。
• 遅延のないシミュレータ上でダイナミクスモデルを学習するが、計画段階でのみ遅延効果を組み込むことで、既知の遅延を持つ実システムへの転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数ステップの行動遅延が生じるシステムにおいて、遅延対応型MDPの定式化がマルコフ性を保つことができるか？
• RQ2 既知の行動遅延を学習済みのダイナミクスに組み込む際、再学習を要せず効率的に統合できるか？
• RQ3 提案フレームワークは、異なる遅延時間を持つ環境に適用されても高い性能とサンプル効率を維持できるか？
• RQ4 ある遅延環境で学習した知識（ダイナミクスモデル）が、異なる遅延時間を持つ別の環境にどの程度転送可能か？
• RQ5 オフポリシー型モデルフリー手法（例：RTAC）と比較して、遅延下での性能と安定性において、提案手法はどの程度優れているか？

主な発見

• DATSは遅延なし環境でも標準的なモデルフリー強化学習と同等の性能を達成し、Pendulum-v0では平均報酬154.10 ± 14.86、Walker2d-v1では471.34 ± 426.26（1ステップ遅延下）を記録した。
• 訓練時に8ステップ遅延で学習した後、2倍の遅延（16ステップ遅延）を想定した環境でテストしたところ、DATSは高い性能を維持した。これは高い転送性を示している。
• モデルフリーのベースラインであるRTACは、遅延が増加するにつれて著しく性能が低下し、Pendulum-v0では-122.98 ± 64.82、Walker2d-v1では-2173.87 ± 625.76（16ステップ遅延下）の報酬にまで低下した。
• DATSが学習したダイナミクスモデルは、実行時の遅延時間が訓練時の2倍であっても依然として有効であり、強力な転送性を示した。
• 高遅延環境下では、RTACと比較して、DATSは安定した性能に到達するための遷移回数が少なかった。これは優れたサンプル効率を示している。
• 遅延のないシミュレータで学習を行い、計画段階でのみ遅延効果を組み込むことで、シミュレーションから実世界への展開を可能にした。これにより、実世界への導入コストが低減された。