[論文レビュー] Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning
tldr: 本論文は、条件付き拡散モデルを表現力のある方策として用い、挙動クローニングによって正則化し、Q-learning によって導かれるOffline RL 手法 Diffusion-QL を提案する。オフラインデータセット内の行動を改善する。D4RLベンチマークで最新の性能を達成する。
Offline reinforcement learning (RL), which aims to learn an optimal policy using a previously collected static dataset, is an important paradigm of RL. Standard RL methods often perform poorly in this regime due to the function approximation errors on out-of-distribution actions. While a variety of regularization methods have been proposed to mitigate this issue, they are often constrained by policy classes with limited expressiveness that can lead to highly suboptimal solutions. In this paper, we propose representing the policy as a diffusion model, a recent class of highly-expressive deep generative models. We introduce Diffusion Q-learning (Diffusion-QL) that utilizes a conditional diffusion model to represent the policy. In our approach, we learn an action-value function and we add a term maximizing action-values into the training loss of the conditional diffusion model, which results in a loss that seeks optimal actions that are near the behavior policy. We show the expressiveness of the diffusion model-based policy, and the coupling of the behavior cloning and policy improvement under the diffusion model both contribute to the outstanding performance of Diffusion-QL. We illustrate the superiority of our method compared to prior works in a simple 2D bandit example with a multimodal behavior policy. We then show that our method can achieve state-of-the-art performance on the majority of the D4RL benchmark tasks.
研究の動機と目的
- 拡張性のある方策クラスの限界を、拡散モデルを用いて複雑な挙動ポリシーを捉えることで、オフラインRLにおける制約を解決する。
- 挙動クローニングとQ値ガイダンスを伴う拡散ベースのポリシーを開発し、オフラインでの行動選択を改善する。
- D4RLタスクにおいて、従来のポリシー正則化法や他のオフラインRL手法に対する経験的性能優位性を示す。
提案手法
- 状態を与えたときの行動に対する条件付き拡散モデルとしてポリシーを表現する。
- オフラインデータ分布に一致させるため、挙動クローニング損失 L_d で拡散モデルを訓練する。
- 拡散過程を通じて抽出された高価値な行動を優先するQ-learningガイダンス項 L_q を注入する。
- 損失を L = L_d + L_q と結合し、L_q はデータセットのQ値の大きさに基づく正規化因子 alpha でスケーリングする。
- 標準的なダブルQ-learningとターゲットネットワークを用いてQ関数を学習し、Qネットワークと拡散ポリシーの両方を逐次更新する。
- 拡散ステップ数パラメータ N を用いて表現力と計算量のバランスを取り、DDPMスタイルのモデルと同様に beta_i のスケジュールを適用する。
実験結果
リサーチクエスチョン
- RQ1拡散ベースのポリシーは、従来のガウス分布やCVAEベースのポリシーよりもオフラインRLにおいて多峰性のある挙動ポリシーをより適切に捉えられるか?
- RQ2拡散ポリシーにQ-learningガイダンスを組み込むことで、挙動クローニングのみを用いる場合よりオフラインRLの性能が向上するか?
- RQ3Diffusion-QL における拡散ステップ数 N が表現力、性能、計算量に与える影響はどのようか?
- RQ4多様なオフラインRLベンチマーク(Gym、AntMaze、Adroit、Kitchen)における Diffusion-QL の性能は、最先端のベースラインと比べてどうか?
主な発見
- Diffusion-QL は、強力なオフラインRLベースラインと比較して、D4RLタスクの大半で優れた性能を達成する。
- 拡散ポリシーは、規定されたガウスポリシーが苦手とする多峰性の挙動分布を効果的に捉える。
- 挙動クローニングとQ値ガイダンス付きのポリシー改善を組み合わせることで、観測データ領域内でほぼ最適な行動を実現する。
- 拡散ステップ数が少ない(Nが小さい)場合でもQ値ガイダンスを組み込むと高い性能を発揮でき、計算性能の良好なトレードオフを提供する。
- 報酬が希薄な難易度の高い領域(例:AntMaze)や人間由来のAdroit/Kitchenタスクで顕著な利得を示す。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。