[論文レビュー] Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling

Huayu Chen, Cheng Lu+3 more|arXiv (Cornell University)|Sep 29, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、SfBCと呼ばれる、ポリシー学習を高精度な生成的行動モデル（拡散モデルを用いて）と行動評価モデルに分離する、新しいオフライン強化学習手法を提案する。行動モデルが生成する候補行動から、学習された重要度重みに基づいて行動を選択することで、SfBCは外挿行動の選択を回避し、特にAntMazeのような複雑で多様な環境において最先端の性能を達成する。

ABSTRACT

In offline reinforcement learning, weighted regression is a common method to ensure the learned policy stays close to the behavior policy and to prevent selecting out-of-sample actions. In this work, we show that due to the limited distributional expressivity of policy models, previous methods might still select unseen actions during training, which deviates from their initial motivation. To address this problem, we adopt a generative approach by decoupling the learned policy into two parts: an expressive generative behavior model and an action evaluation model. The key insight is that such decoupling avoids learning an explicitly parameterized policy model with a closed-form expression. Directly learning the behavior policy allows us to leverage existing advances in generative modeling, such as diffusion-based methods, to model diverse behaviors. As for action evaluation, we combine our method with an in-sample planning technique to further avoid selecting out-of-sample actions and increase computational efficiency. Experimental results on D4RL datasets show that our proposed method achieves competitive or superior performance compared with state-of-the-art offline RL methods, especially in complex tasks such as AntMaze. We also empirically demonstrate that our method can successfully learn from a heterogeneous dataset containing multiple distinctive but similarly successful strategies, whereas previous unimodal policies fail.

研究の動機と目的

• オフライン強化学習におけるユニモーダルなポリシー・モデルの分布表現力の制限により、重み付き回帰であっても外挿行動が選択されてしまう問題に対処する。
• 明示的なポリシー・パラメータ化なしに、静的データセットにおける多様でマルチモーダルな行動をモデル化する課題を克服する。
• 拡散モデルのような表現力の高い生成モデルを用いて、現実のデータセットに内在する複雑で多様な行動を高忠実度でモデリング可能にする。
• Q学習における暗黙のインサンプル計画手法と行動モデルを組み合わせることで、外挿誤差を低減し、サンプル効率を向上させる。
• 複数の明確に異なる成功戦略を含む異種データセットからの学習が可能であることを示し、ユニモーダルなポリシー手法とは対照的に、それらの多様性を捉えることが可能である。

提案手法

• ポリシーを生成的行動モデル（拡散ベース）と別個の行動評価モデルに分解し、ポリシーの直接的パラメータ化を回避する。
• 重要度サンプリングを用いて、行動モデルが生成する候補行動から、行動評価モデルが算出する重要度重みに基づいて行動を選択する。
• 拡散確率的モデルを活用して高忠実度の行動モデリングを実現し、連続的行動空間におけるマルチモーダルかつ多様な行動を正確に表現可能にする。
• Q学習に適した暗黙のインサンプル計画演算子を導入し、データセットの軌道にのみブートストラップを実行することで、外挿誤差を低減する。
• データセットの報酬を教師信号として用い、行動評価モデルを重み付き回帰により学習する。重要度重みは行動モデルの候補行動から導出される。
• 計画をインサンプルの軌道に限定することで、非政策ブートストラップに依存せず、計算効率と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 高忠実度の生成的行動モデルは、オフラインRLにおけるポリシー表現力の向上と、外挿行動選択の低減に寄与するか？
• RQ2 行動モデリングと行動評価にポリシー学習を分離することで、複数の明確な戦略を含む異種データセットにおける一般化性能が向上するか？
• RQ3 暗黙のインサンプル計画は、複雑なオフラインRL環境における性能と外挿誤差にどのように影響を与えるか？
• RQ4 拡散ベースのモデルは、従来の生成モデル（例：VAE、ガウス混合）に比べ、複雑でマルチモーダルな行動分布のモデリングにおいて優れているか？
• RQ5 本手法は、既存の重み付き回帰に基づくオフラインRLアルゴリズムに比べ、どのような状況で顕著に優位性を示すか？

主な発見

• SfBCはD4RLベンチマークにおいて最先端の性能を達成し、特にAntMaze-MediumやAntMaze-Largeのような挑戦的な環境で、すべてのベースラインを上回る。
• Bidirectional-Car環境では、SfBCは時間制限内に片方のエンドポイントに到達する唯一の手法であり、ユニモーダル手法は極端な行動の選択に失敗する。
• 異種データセット（例：Medium-Expert）において、拡散ベースの行動モデルはVAEおよびガウスベースのモデルを著しく上回り、優れた分布表現力を持つことが示された。
• インサンプル計画は、AntMazeのような複雑で報酬がスパarsityな環境で性能を向上させ、最適な性能はK=3～5の値反復ステップで達成された。
• SfBCは、レールの両端に到達する2つの明確に異なる成功戦略を含むデータセットからも学習に成功したが、ユニモーダルなポリシーはこのような多様性を捉えることができなかった。
• 行動選択をインサンプルの候補に限定することで、行動方針が極めてマルチモーダルであっても、外挿誤差を低減できることが示された。