[論文レビュー] Energy-Based Hindsight Experience Prioritization

Rui Zhao, Volker Tresp|arXiv (Cornell University)|Oct 2, 2018

Reinforcement Learning in Robotics参考文献 43被引用数 27

ひとこと要約

本論文は、物理的インスピレーションを受ける軌道エネルギー関数（時間経過における運動エネルギー、位置エネルギー、回転エネルギーの変化の合計）を用いて、ロボット操作タスクにおける後向き経験リプレイ（HER）を優先順位付けするEnergy-Based Prioritization（EBP）を提案する。EBPは計算コストを増加させることなく、平均で1.96倍のサンプル効率向上と、最先端のHERベースライン比で3.75パーセンテージポイントの性能向上を達成した。

ABSTRACT

In Hindsight Experience Replay (HER), a reinforcement learning agent is trained by treating whatever it has achieved as virtual goals. However, in previous work, the experience was replayed at random, without considering which episode might be the most valuable for learning. In this paper, we develop an energy-based framework for prioritizing hindsight experience in robotic manipulation tasks. Our approach is inspired by the work-energy principle in physics. We define a trajectory energy function as the sum of the transition energy of the target object over the trajectory. We hypothesize that replaying episodes that have high trajectory energy is more effective for reinforcement learning in robotics. To verify our hypothesis, we designed a framework for hindsight experience prioritization based on the trajectory energy of goal states. The trajectory energy function takes the potential, kinetic, and rotational energy into consideration. We evaluate our Energy-Based Prioritization (EBP) approach on four challenging robotic manipulation tasks in simulation. Our empirical results show that our proposed method surpasses state-of-the-art approaches in terms of both performance and sample-efficiency on all four tasks, without increasing computational time. A video showing experimental results is available at https://youtu.be/jtsF2tTeUGQ

研究の動機と目的

• 均一なリプレイがHindsight Experience Replay（HER）において非効率であるのを是正する。これは、学習価値にかかわらずすべてのエピソードを同等に扱うためである。
• 訓練に最も有益なエピソードを特定する、原理的かつ物理的根拠に基づいたメトリクスを開発する。
• 計算オーバーヘッドを増加させることなく、マルチゴール強化学習におけるサンプル効率と最終的性能を向上させる。
• 軌道エネルギーが学習の難易度とTD誤差と相関することを検証し、優先順位付け信号としての妥当性を裏付ける。

提案手法

• 軌道エネルギー関数は、軌道内の全タイムステップにおける遷移エネルギー（運動エネルギー、位置エネルギー、回転エネルギー）の合計として定義される。
• 状態間の遷移エネルギーは、ターゲットオブジェクトの力学的エネルギー（運動エネルギー＋位置エネルギー＋回転エネルギー）の変化として計算される。
• 全軌道エネルギーが大きいほど、より複雑または成功した相互作用を示すため、エピソードはその合計エネルギーに基づいてリプレイの優先順位が付与される。
• 本手法は、後向きポリシー強化学習アルゴリズムに組み込み、均一リプレイをエネルギーに基づく優先順位付けに置き換える。
• 本手法は、MuJoCoシミュレーションを用い、OpenAI Gym環境における4つのロボット操作タスクで評価された。
• エネルギーに基づく優先順位付けは、既存の手法（例：優先経験リプレイ（PER））と直交しており、それらと併用可能である。

実験結果

リサーチクエスチョン

• RQ1 軌道エネルギーは、ロボット操作タスクにおける学習難易度の信頼できる代理指標として機能するか？
• RQ2 高エネルギー軌道の優先順位付けは、HERにおけるサンプル効率と最終的性能を向上させるか？
• RQ3 軌道エネルギーと時系列差分（TD）誤差の間に顕著な相関関係があるか？これは学習価値を示している。
• RQ4 物理的エネルギー指標は、後向きポリシーRLにおけるカリキュラム学習を効果的に導くために使用可能か？

主な発見

• EBPは、4つのロボット操作タスク全体で平均して3.75パーセンテージポイントの最終的平均成功確率向上を達成した。
• FetchPickAndPlace-v0環境では、EBPは94.84%の成功率を達成し、ヴァニラHER（93.78%）およびPERを用いたHER（93.66%）を上回った。
• EBPは平均で1.96倍のサンプル効率向上を達成し、タスクごとに1.49倍から2.72倍の向上が見られた。
• FetchPickAndPlace-v0で93.8%の成功率を達成するには、EBPは48,000サンプルで十分だったが、ヴァニラHERでは93,100サンプルが必要だった。これは、サンプル効率がほぼ2倍に向上したことを意味する。
• 軌道エネルギーとTD誤差のピアソン相関係数が0.6であることを確認した。これは、高エネルギー軌道が学習により有益であることを示している。
• 本手法は、標準的なHERと同等の計算コストを維持しており、実世界への実装に実用的である。