[論文レビュー] Reward-Conditioned Policies

Aviral Kumar, Xue Bin Peng+1 more|arXiv (Cornell University)|Dec 31, 2019

Reinforcement Learning in Robotics参考文献 41被引用数 16

ひとこと要約

本稿では、目的報酬に条件付けた報酬条件付き方策（RCP）を提案する。RCPは、1つの方策を複数の報酬値に一般化するように訓練する強化学習手法であり、目標報酬に条件付けた方策を学習することで実現する。非最適な軌道を特定の報酬値を達成するための最適な教師信号として扱うことで、収集された任意のデータに対して教師あり学習を可能にし、最先端の手法に比べてサンプル効率が低いものの、ベンチマーク環境で競争力のある性能を達成する。

ABSTRACT

Reinforcement learning offers the promise of automating the acquisition of complex behavioral skills. However, compared to commonly used and well-understood supervised learning methods, reinforcement learning algorithms can be brittle, difficult to use and tune, and sensitive to seemingly innocuous implementation decisions. In contrast, imitation learning utilizes standard and well-understood supervised learning methods, but requires near-optimal expert data. Can we learn effective policies via supervised learning without demonstrations? The main idea that we explore in this work is that non-expert trajectories collected from sub-optimal policies can be viewed as optimal supervision, not for maximizing the reward, but for matching the reward of the given trajectory. By then conditioning the policy on the numerical value of the reward, we can obtain a policy that generalizes to larger returns. We show how such an approach can be derived as a principled method for policy search, discuss several variants, and compare the method experimentally to a variety of current reinforcement learning methods on standard benchmarks.

研究の動機と目的

• 深層強化学習の脆さとハイパーパrameterへの感受性を軽減するため、標準的な教師あり学習手法を活用すること。
• エキスパートのデモなしに、非最適な軌道を特定の報酬値の達成を目的とした最適な教師信号として再利用することで、効果的な方策学習を可能にすること。
• 1つの方策を目標報酬に条件付けたことで、異なる報酬レベルに一般化できる原理的かつスケーラブルな手法を開発すること。
• 標準的な強化学習ベンチマークにおいて、本手法の性能とロバストネスを、既存のオフポリシー強化学習アルゴリズムと比較して評価すること。

提案手法

• 本手法の核となるのは、目標報酬 Z に条件付けられた方策 πθ(a|s, Z) の訓練であり、Z は所望の報酬値またはアドバンテージ値を表す。
• 特定の Z 値を達成することを目的とした方策のための最適な教師信号として、非最適な軌道を扱うことで、収集された任意のデータに対して教師あり学習を可能にする。
• 状態と目標値 Z の特徴統合に、状態と Z を連結するか、乗法的相互作用を用いる報酬条件付き方策ネットワークを採用する。
• リプレイバッファは、ロールアウトから得た (s, Z, a) タプルを格納し、これらのタプルに対して標準的な教師あり学習で方策を訓練する。
• 訓練中に、多様な報酬レベルをカバーするため、目標値 Z を学習された分布 pπ*(Z) からサンプリングする。
• 2つのバリエーションを検討した：RCP-R（報酬に条件付けたもの）とRCP-A（アドバンテージに条件付けたもの）、アーキテクチャのアブレーションにより、乗法的相互作用が連結より優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 非最適な軌道は、特定の報酬レベルを達成することを目的とした方策学習において、効果的に最適な教師信号として利用可能か？
• RQ2 方策を目標報酬またはアドバンテージに条件付けた場合、オフポリシー強化学習設定における一般化性と性能がどのように向上するか？
• RQ3 連結と乗法的相互作用といったアーキテクチャの選択が、報酬条件付き方策の性能に最も顕著に影響を与えるか？
• RQ4 報酬条件付き方策は、学習時に見られなかった高い報酬値に対しても、どの程度一般化可能か？
• RQ5 SAC や AWR といった最先端のオフポリシー強化学習アルゴリズムと比較して、本手法のサンプル効率と最終的な性能はどの程度か？

主な発見

• RCP手法は、学習時に見られなかったより高い報酬値に対しても一般化する方策を効果的に学習でき、報酬条件付けによる一般化の有効性を示した。
• 乗法的相互作用アーキテクチャは、環境全体を通して連結アーキテクチャを常に上回り、HalfCheetah-v2 および Hopper-v2 でより優れたサンプル効率と最終的な性能を達成した。
• RCPのバリエーションは、目標値 Z と観測された報酬の間の同時発生頻度のヒートマップから、目標 Z 値に近い報酬分布を達成したことが示された。
• より大きなリプレイバッファでは性能が低下したため、データ効率の課題や、長期間にわたるバッファにおける分布シフトの可能性が示唆された。
• 強力な一般化性能を示したが、SAC や他の最先端手法に比べて最終的な性能とサンプル効率で劣っているため、改善の余地があることが示された。
• シンプルさとよく理解された教師あり学習に依存する点から、実用的応用の可能性を示しているが、探索と一般化が依然として主な課題である。