[論文レビュー] Behavior Proximal Policy Optimization

Zifeng Zhuang, Kun Lei+3 more|arXiv (Cornell University)|Feb 22, 2023

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

BPPO は、追加の制約なしでオフラインデータを通じて挙動方策を単調に改善することで、オフライン強化学習を単純なオンポリシー風の PPO ベース手法で解決できることを示し、D4RL で強力な結果を達成します。

ABSTRACT

Offline reinforcement learning (RL) is a challenging setting where existing off-policy actor-critic methods perform poorly due to the overestimation of out-of-distribution state-action pairs. Thus, various additional augmentations are proposed to keep the learned policy close to the offline dataset (or the behavior policy). In this work, starting from the analysis of offline monotonic policy improvement, we get a surprising finding that some online on-policy algorithms are naturally able to solve offline RL. Specifically, the inherent conservatism of these on-policy algorithms is exactly what the offline RL method needs to overcome the overestimation. Based on this, we propose Behavior Proximal Policy Optimization (BPPO), which solves offline RL without any extra constraint or regularization introduced compared to PPO. Extensive experiments on the D4RL benchmark indicate this extremely succinct method outperforms state-of-the-art offline RL algorithms. Our implementation is available at https://github.com/Dragon-Zhuang/BPPO.

研究の動機と目的

• オフラインデータを用いた挙動方策の単調改善としてオフライン RL を動機づける。
• オンラインのオンポリシーアルゴリズム（PPO のようなもの）が追加の制約なしにオフライン RL を自然に解決できることを示す。
• オフラインデータに依存しつつ PPO を模倣する単純なオフラインアルゴリズム BPPO を提案する。
• Gym、Adroit、Kitchen、Antmaze を含む D4RL ベンチマークでの実証的性能を示す。

提案手法

• Performance Difference Theorem を用いてオフラインのポリシー改善を形式化する。
• オンライン状態分布をオフラインデータ分布に置換して PPO を模倣する実用的な BPPO 目的関数を導出する。
• 更新後のポリシーと現在のポリシー間の発散制約を課し、モノトニック改善を保証するクリップ付き近似損失を介して実装する。
• 現在のポリシーでオフラインデータベースのアドバンテージを重要度サンプリングで再重み付けする。
• 挙動方策に結びついたオフポリシーQとV推定値を用いてアドバンテージ A_pi_k を近似・計算する。
• 学習された政策を挙動方策に結びつけつつ、制御可能な更新を可能にするためクリップ比の減衰を組み込む。

実験結果

リサーチクエスチョン

• RQ1 オンラインのオンポリシーアルゴリズムは、明示的な正則化なしにオフライン RL で単調改善を達成できるか。
• RQ2 PPO-風の BPPO アプローチは、標準的なオフライン RL ベンチマークで優れたまたは競争力のある性能を示すか。
• RQ3 BPPO は実務上、ワンステップおよび反復/オフポリシーのオフライン手法とどう比較されるか。
• RQ4 利点推定、クリップのスケジューリングなど、どの実装選択がオフライン設定での BPPO の有効性に影響を与えるか。

主な発見

• BPPO は D4RL ベンチマークにおいて、最先端のオフライン RL 手法と比較して競争力がある、または優れた性能を達成する。
• BPPO は Behavior Cloning のベースラインを大幅に上回り、Adroit および Kitchen のタスクで強力な結果を示す。
• 経験的結果は、BPPO が多くのタスクで Oneste p RL を上回り、反復/オフポリシー手法と同等以上の競争力を示すことを示唆する。
• オフラインデータにおける PPO 風の損失を用いたモノトニック改善を導入するだけで、PPO に含まれる他の正則化項を加えなくても高い性能を得られる。
• クリップ比減衰と慎重なアドバンテージ推定は、BPPO の安定性の向上に重要である。
• BPPO は Antmaze のような sparsе-sparse 報酬タスクで強力な性能を示し、いくつかのベースラインを上回る。