[論文レビュー] When does return-conditioned supervised learning work for offline reinforcement learning?

David Brandfonbrener, Alberto Bietti+3 more|arXiv (Cornell University)|Jun 2, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、オフライン強化学習における報酬条件付き教師あり学習（RCSL）が、どのような条件下で成功するかを調査している。理論的に、RCSLはほぼ決定的ダイナミクス、既知の報酬条件付き値、およびデータセットにおける十分な報酬カバレッジという強い仮定のもとでのみ最適方策を達成できることを示している。実験結果はこれらの理論的限界を確認しており、RCSLは、確率的またはカバレッジが不十分な環境では失敗するが、動的プログラミング手法と比較して単純でスケーラブルである点に注目すべきである。

ABSTRACT

Several recent works have proposed a class of algorithms for the offline reinforcement learning (RL) problem that we will refer to as return-conditioned supervised learning (RCSL). RCSL algorithms learn the distribution of actions conditioned on both the state and the return of the trajectory. Then they define a policy by conditioning on achieving high return. In this paper, we provide a rigorous study of the capabilities and limitations of RCSL, something which is crucially missing in previous work. We find that RCSL returns the optimal policy under a set of assumptions that are stronger than those needed for the more traditional dynamic programming-based algorithms. We provide specific examples of MDPs and datasets that illustrate the necessity of these assumptions and the limits of RCSL. Finally, we present empirical evidence that these limitations will also cause issues in practice by providing illustrative experiments in simple point-mass environments and on datasets from the D4RL benchmark.

研究の動機と目的

• オフライン強化学習における報酬条件付き教師あり学習（RCSL）の理論的保証と失敗モードを厳密に分析すること。
• RCSLが最適方策を回復するための必要十分条件を特定し、従来の動的プログラミング（DP）手法と比較すること。
• 合成環境とD4RLベンチマークデータセットを用いて、理論的限界を実験的に検証すること。
• RCSL、行動クラーニング（BC）、DPベースのアルゴリズムの間のパフォーマンスとロバストネスに関する関係を明確にすること。
• RCSLが一般用途のオフラインRLソリューションとして機能できるのか、それとも特定の良好構造化された設定に限定されるのかを評価すること。

提案手法

• RCSLは、エキスパートの軌道データセット上で最大尤度推定を用い、状態と軌道の報酬に基づいて行動を予測する方策を学習する。
• 経験的負の対数尤度損失を最小化する：$\hat{L}(\pi) = -\sum_{\tau \in \mathcal{D}} \sum_{t=1}^{H} \log \pi(a_t | s_t, g(\tau))$。
• 推論時、関数$f(s)$を用いてターゲット報酬に条件付けられる方策が定義され、$\pi_f(a|s) = \pi(a|s, f(s))$と表される。
• 理論的分析により、RCSLが最適方策を回復する条件が導出され、これにはほぼ決定的ダイナミクスとデータセットにおける報酬の完全なサポートが含まれる。
• 実験的評価では、ポイントマス環境とD4RLベンチマークデータセットを用い、報酬カバレッジ、確率的ダイナミクス、行動方策の質の変動に対するパフォーマンスをテストする。
• 比較実験には、DPベースの手法（TD3+BC、IQL）、BCベースのベースライン、およびRCSLの変種（例：Decision Transformer）を含み、ハイパーパramータチューニングと複数のランダムシードを用いる。

実験結果

リサーチクエスチョン

• RQ1 RCSLが最適方策を回復するのはどのような条件下か？ そして、動的プログラミング（DP）手法が要請する仮定と比べてどうか？
• RQ2 RCSLの理論的失敗モードは何か？ これらは実際の状況でどのように現れるか？
• RQ3 報酬が疎な環境、確率的ダイナミクス、またはデータセットカバレッジが不十分な環境において、RCSLはBCおよびDPベースのアルゴリズムと比べてどのように性能を発揮するか？
• RQ4 RCSLは現実のオフラインRLベンチマークに一般化可能か、それとも特定の高品質データレジームに限定されるのか？
• RQ5 RCSLは、教師あり学習の単純さを引き継ぎつつ、行動クラーニングの落とし穴を回避できる程度はどれほどか？

主な発見

• RCSLは、DPより強い仮定を要する場合にのみ最適方策を回復する。具体的には、ほぼ決定的ダイナミクスとデータセットにおけるターゲット報酬の完全なサポートが必要である。
• 確率的ダイナミクスや報酬が疎な環境では、RCSLは正の報酬ですら学習できない。特に、高報酬の軌道が存在しないアンタマズの報酬が疎な設定では顕著である。
• D4RLベンチマークでは、TD3+BC や IQL といったDPベースの手法に比べ、RCSLはほとんどのタスクで劣る性能を示す。特に、高確率的ダイナミクスを示すタスク（例：antmaze-medium-play）で顕著である。
• RCSLは、行動方策が高品質だが最適でない場合、たとえばペン・ヒューマンデータセットのように、密集した報酬と限られたカバレッジがある場合にのみ良好に機能する。この場合、報酬条件付き学習によりBCを上回る性能が得られる。
• 理論的分析により、RCSLが軌道レベルの報酬情報に依存しているため、データセット内の最良の軌道によって根本的に制限され、最適性能に到達するにはホライズンに指数関数的に依存するサンプル複雑性を要することが示された。
• 単純さとスケーラビリティに加え、RCSLはオフラインRLの一般ソリューションではない。データセットカバレッジが不十分であったり、ダイナミクスが確率的であったりする場合には、DP手法とは異なり、それらを是正できない。