[論文レビュー] Reward Engineering for Object Pick and Place Training

Raghav Nagpal, Achyuthan Unni Krishnan+1 more|arXiv (Cornell University)|Jan 11, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 7

ひとこと要約

本論文は、OpenAI Gymの環境を用いて、ロボットのピックアンドプレースタスクにおける強化学習の高速化を目的とした報酬工学技術を提案する。x、y、z軸に沿った距離に基づく報酬に重みを付けるとともに、後向き経験再生（Hindsight Experience Replay, HER）を組み合わせることで、OpenAIのベースラインと比較して学習時間を約50％短縮した。また、マンハッタン経路などのユーザー指定の経路選好も可能となった。

ABSTRACT

Robotic grasping is a crucial area of research as it can result in the acceleration of the automation of several Industries utilizing robots ranging from manufacturing to healthcare. Reinforcement learning is the field of study where an agent learns a policy to execute an action by exploring and exploiting rewards from an environment. Reinforcement learning can thus be used by the agent to learn how to execute a certain task, in our case grasping an object. We have used the Pick and Place environment provided by OpenAI's Gym to engineer rewards. Hindsight Experience Replay (HER) has shown promising results with problems having a sparse reward. In the default configuration of the OpenAI baseline and environment the reward function is calculated using the distance between the target location and the robot end-effector. By weighting the cost based on the distance of the end-effector from the goal in the x,y and z-axes we were able to almost halve the learning time compared to the baselines provided by OpenAI, an intuitive strategy that further reduced learning time. In this project, we were also able to introduce certain user desired trajectories in the learnt policies (city-block / Manhattan trajectories). This helps us understand that by engineering the rewards we can tune the agent to learn policies in a certain way even if it might not be the most optimal but is the desired manner.

研究の動機と目的

• 報酬工学を用いて、ロボットのピックアンドプレース強化学習におけるサンプル効率を向上させること。
• ロボット操作タスクにおける報酬のスパarsity（疎らかさ）の課題に対処すること。
• OpenAIのデフォルトベースライン方策と比較して、学習時間を短縮すること。
• 報酬形状を用いて、都市ブロック（マンハッタン）経路などの非最適だが望ましい経路の学習を可能とすること。
• 報酬工学が、非最適だが望ましい行動へとエージェントを誘導できることを示すこと。

提案手法

• トレーニングのベンチマーク環境として、OpenAI Gymのピックアンドプレース環境を採用した。
• ゴール位置からのx、y、z軸方向の偏差に重みを付けて、距離に基づく報酬関数を設計した。
• スパース報酬環境におけるサンプル効率を向上させるために、後向き経験再生（Hindsight Experience Replay, HER）を適用した。
• ユーザー指定の経路選好（例：マンハッタン経路）を報酬関数に統合し、ポリシー学習をガイドした。
• エンジニアリングされた報酬関数を用いて、プロキシマルポリシー最適化（PPO）によるポリシーを訓練した。
• OpenAIのデフォルトベースラインと比較して、学習曲線とサンプル効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 軸別重み付き距離に基づく報酬形状は、ロボットのピックアンドプレースタスクにおける学習時間を短縮できるか？
• RQ2 スパース報酬環境において、後向き経験再生（HER）はエンジニアリングされた報酬とどのように作用するか？
• RQ3 報酬工学は、マンハッタン経路のような非最適だが望ましい経路へとエージェントをどれだけ効果的に誘導できるか？
• RQ4 軸別重み付き報酬とHERを組み合わせることで、標準ベースラインと比較して収束が速くなるか？
• RQ5 連続制御タスクにおいて、ユーザー定義の行動的好みは報酬工学によって効果的に表現可能か？

主な発見

• 提案された報酬工学により、OpenAIのデフォルトベースラインと比較して学習時間が約50％短縮された。
• 軸別重み付き距離報酬は、スパース報酬のピックアンドプレースタスクにおけるサンプル効率を顕著に向上させた。
• 後向き経験再生（HER）は、エンジニアリングされた報酬関数と効果的に補完され、学習の安定性と速度が向上した。
• 本手法は、非最適でもユーザー指定の経路（例：シティブロック経路）に従うポリシーの学習に成功した。
• 重み付き距離報酬とHERの組み合わせは、収束速度およびタスク成功確率の面で、標準的なトレーニング設定を上回った。