[論文レビュー] Learning Guidance Rewards with Trajectory-space Smoothing

Tanmay Gangwani, Yuan Zhou+1 more|arXiv (Cornell University)|Oct 23, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 4

ひとこと要約

本稿では、軌道空間におけるスムージングを用いて密度のあるガイダンス報酬を学習する手法を提案する。これにより、環境報酬が疎であったり遅延している場合の深層強化学習における効率的な時間的信用配分が可能になる。全状態行動ペアに均等に軌道報酬を再分配することにより、補助ネットワークの学習を必要とせず、単一およびマルチエージェントRLアルゴリズムにおいて顕著にサンプル効率が向上する。

ABSTRACT

Long-term temporal credit assignment is an important challenge in deep reinforcement learning (RL). It refers to the ability of the agent to attribute actions to consequences that may occur after a long time interval. Existing policy-gradient and Q-learning algorithms typically rely on dense environmental rewards that provide rich short-term supervision and help with credit assignment. However, they struggle to solve tasks with delays between an action and the corresponding rewarding feedback. To make credit assignment easier, recent works have proposed algorithms to learn dense "guidance" rewards that could be used in place of the sparse or delayed environmental rewards. This paper is in the same vein -- starting with a surrogate RL objective that involves smoothing in the trajectory-space, we arrive at a new algorithm for learning guidance rewards. We show that the guidance rewards have an intuitive interpretation, and can be obtained without training any additional neural networks. Due to the ease of integration, we use the guidance rewards in a few popular algorithms (Q-learning, Actor-Critic, Distributional-RL) and present results in single-agent and multi-agent tasks that elucidate the benefit of our approach when the environmental rewards are sparse or delayed.

研究の動機と目的

• 環境報酬が疎または遅延している場合の深層強化学習における長期的時間的信用配分の課題に対処すること。
• 既存のRLアルゴリズムにスムーズに統合され、サンプル効率を向上させることを目的とした手法の開発。
• 軌道報酬から容易に計算可能なガイダンス報酬を通じて、密度のある監視を提供すること。
• 補助ニューラルネットワークや複雑な報酬モデリングを必要とせず、報酬遅延に対して不変性を確保すること。
• 軌道内の全状態行動ペアに均等に総報酬を再分配することで、効果的な信用配分を実現すること。

提案手法

• ガイダンス報酬の導出に向け、軌道空間におけるスムージングを含む代替RL目的関数を定式化する。
• 各状態行動ペアを含む過去の軌道の期待報酬としてガイダンス報酬を定義し、均等な信用配分を可能にする。
• 補助ネットワークの学習を回避するため、報酬と遷移ダイナミクスのみを用いてガイダンス報酬を計算する。
• Q学習、SAC、TD3、分布型RLといった標準的なRLアルゴリズムにガイダンス報酬を統合する。
• ガイダンス報酬関数下で標準RLと同等の性質を保ち、収束性を維持すること。
• 軌道空間スムージングを適用し、遅延報酬環境における価値推定の安定化と信用配分の改善を図る。

実験結果

リサーチクエスチョン

• RQ1 軌道空間スムージングは、遅延報酬強化学習における効果的なガイダンス報酬を生成できるか？
• RQ2 学習された報酬モデルや補助ネットワークを用いる従来の手法と比べて、本手法はどのように差をつけるか？
• RQ3 ガイダンス報酬は、報酬が疎または遅延している環境で、学習をどの程度加速できるか？
• RQ4 本手法は、オフポリシーおよび分布型手法を含む多様な標準RLアルゴリズムと互換性を保っているか？
• RQ5 追加モデルの学習を伴わず、効率的にガイダンス報酬を計算できるか、同時にサンプル効率の高い学習を可能にするか？

主な発見

• ガイダンス報酬は、全状態行動ペアに均等に総軌道報酬を再分配することで、密度のある監視を提供し、より良い価値推定を実現する。
• 報酬遅延があるMuJoCo走行タスクにおいて、本手法は標準SACやQ学習を著しく上回る学習速度とサンプル効率を達成する。
• SAC、TD3、分布型RLとの統合により、報酬が疎または遅延している単一エージェントおよびマルチエージェントタスクで、より速い収束が達成される。
• 学習された報酬モデルを用いる先行手法と同等またはそれ以上の性能を達成するが、追加のニューラルネットワークの学習を必要としない。
• 実験により、ガイダンス報酬は報酬遅延に対して頑健であり、多様な環境で安定した学習を維持することが示された。
• 本手法は容易にプラグアンドプレイ可能であり、既存のRLアルゴリズムのアーキテクチャを変更する必要がなく、オフポリシーおよびオンポリシーのフレームワークと両立可能である。