[論文レビュー] Decoupled Prioritized Resampling for Offline RL

Yue Yang, Bingyi Kang+5 more|arXiv (Cornell University)|Jun 8, 2023

Mental Health Research TopicsPsychology被引用数 3

ひとこと要約

本稿では、行動方策をアクション品質に基づく優先順位付きリサンプリングによって段階的に改善することで、オフライン強化学習の性能を向上させる、プラグアンドプレイな手法であるオフラインデカップルドプライオリティ付きリサンプリング（ODPR）を提案する。高優位性アクションに高い重みを割り当てることで、ODPRは制約付きオフラインRLアルゴリズムでより優れた行動方策を生成し、D4RLベンチマークにおいて、トラジェクトリ情報が存在しない設定を含む5つの最先端アルゴリズムで顕著な向上を達成する。

ABSTRACT

Offline reinforcement learning (RL) is challenged by the distributional shift problem. To address this problem, existing works mainly focus on designing sophisticated policy constraints between the learned policy and the behavior policy. However, these constraints are applied equally to well-performing and inferior actions through uniform sampling, which might negatively affect the learned policy. To alleviate this issue, we propose Offline Prioritized Experience Replay (OPER), featuring a class of priority functions designed to prioritize highly-rewarding transitions, making them more frequently visited during training. Through theoretical analysis, we show that this class of priority functions induce an improved behavior policy, and when constrained to this improved policy, a policy-constrained offline RL algorithm is likely to yield a better solution. We develop two practical strategies to obtain priority weights by estimating advantages based on a fitted value network (OPER-A) or utilizing trajectory returns (OPER-R) for quick computation. OPER is a plug-and-play component for offline RL algorithms. As case studies, we evaluate OPER on five different algorithms, including BC, TD3+BC, Onestep RL, CQL, and IQL. Extensive experiments demonstrate that both OPER-A and OPER-R significantly improve the performance for all baseline methods. Codes and priority weights are availiable at https://github.com/sail-sg/OPER.

研究の動機と目的

• 良い行動と悪い行動を同様に扱う不適切な方策制約によって引き起こされる性能低下を是正すること。
• 均一な制約に依存するのではなく、データのリサンプリングを通じて高品質なアクションを優先することで、オフラインRLにおける行動方策を改善すること。
• 既存のオフラインRLアルゴリズムと互換性があり、トラジェクトリ情報が利用不可であっても有効であるような手法を設計すること。
• 優先順位付きリサンプリングが、証明可能に改善された行動方策およびより良い下流のポリシー学習をもたらすことを理論的かつ実験的に検証すること。
• 性能と計算効率のバランスを取る2つの実装形態—ODPR-A（アドバンテージベース）およびODPR-R（リターンベース）—を提供すること。

提案手法

• ODPRは、正規化されたアクションアドバンテージに基づいて遷移を再重み付けすることで、高品質なアクションを優遇するデカップルドリサンプリング戦略を導入する。
• プライオリティ関数は、1ステップTD誤差（ODPR-A）またはトラジェクトリリターン（ODPR-R）のいずれかを用いて定義され、柔軟かつ効率的な実装を可能にする。
• プライオリティ重みを用いてデータセットを繰り返しリサンプリングすることで、行動方策を段階的に精錬し、学習に適した優れたデータセット $\mathcal{D}^K$ を生成する。
• 精錬されたデータセットは、BC、TD3+BC、CQL、IQL、Onestep RL などの標準的なポリシー制約付きオフラインRLアルゴリズムの入力として使用される。
• リサンプリングと再重み付けの両実装が提供されており、期待損失において理論的に同等であるため、実装選択に対して堅牢である。
• ODPR-Aにスケーリングハイパーパrameter $\sigma$ を導入し、プライオリティ重みの分散を増加させることで、有効な優先順位付けを保証する。

Figure 1: (a) Prioritized resampling . Given a state, possible actions are ranked by quality in x-axis. A behavior policy (in blue) usually follows a multi-modal distribution. A prioritized policy (in red) is acquired by prioritized resampling which assigns higher weights to better actions. (b) Offl

実験結果

リサーチクエスチョン

• RQ1 アクション品質に基づく優先順位付きリサンプリングによって、行動方策を精錬することで、オフラインRLの性能を向上させられるか？
• RQ2 デカップルドプライオリティ付きリサンプリングは、元のデータセットよりも証明可能に優れた行動方策をもたらすか？
• RQ3 アーキテクチャの変更なしに、ODPRは多様なオフラインRLアルゴリズムの性能を向上させられるか？
• RQ4 トラジェクトリ情報が欠落しているデータセットにおいて、ODPRはどれほど有効か？（先行のトラジェクトリベース手法が失敗する状況）
• RQ5 リサンプリングと再重み付けの実装選択が、ODPRの性能に影響を与えるか？

主な発見

• ODPR-AおよびODPR-Rは、D4RLベンチマークにおいて5つのオフラインRLアルゴリズム（BC、TD3+BC、Onestep RL、CQL、IQL）で顕著な性能向上を達成し、ロケモーションタスクでは平均10〜20％の向上を示す。
• ODPR-AはMujoco-v2で734.1 ± 10.4の総得点を達成し、バニラTD3+BC（689.5 ± 11.2）を上回り、トラジェクトリデータが存在しない状況でも性能向上を示す。
• 行動多様性が低いランダムデータセットではODPRに最小限の向上が見られるため、その向上は既存の行動分散を活用していることが確認される。
• ODPR-Aにおけるハイパーパrameter $\sigma$ は極めて重要である：$\sigma = 2.0$ の場合、総得点は229.5から284.2に向上するが、スケーリングなしでは劣悪な結果となる。
• リサンプリングと再重み付けはほとんどのタスクで同等の結果を示すが、ペンタスクでは再重み付けが極端なプライオリティ重みの影響を受けて失敗するため、高分散リターン分布では実装選択に感受性があることが示唆される。
• ODPR-Rはキッチンタスクで平均10.5％、アドロイドタスクで12.5％の向上を達成し、複雑で高次元な環境でも有効であることが示された。

Figure 2: A subset of tasks pertinent to real-world applications from the D4RL benchmark [ 29 ] , including Mujoco locmotion tasks with bipeds or quadrupeds, Maze navigation tasks with an 8-DoF Ant quadruped robot, Kitchen tasks with a 9-DoF Franka robot, and Adroit tasks with a 24-DoF Hand robot 2