[論文レビュー] Policy Representation via Diffusion Probability Model for Reinforcement Learning

Long Yang, Zhixiong Huang+7 more|arXiv (Cornell University)|May 22, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、方策を拡散確率モデルで表現するモデルフリーのオンライン強化学習アルゴリズムであるDIPOを紹介する。これにより、マルチモーダルな行動分布の実現が可能になる。方策を確率的微分方程式に従う確率過程として定式化し、収束保証を提供することで、DIPOはMuJoCo連続制御ベンチマークで優れた探索性能と性能を達成する。

ABSTRACT

Popular reinforcement learning (RL) algorithms tend to produce a unimodal policy distribution, which weakens the expressiveness of complicated policy and decays the ability of exploration. The diffusion probability model is powerful to learn complicated multimodal distributions, which has shown promising and potential applications to RL. In this paper, we formally build a theoretical foundation of policy representation via the diffusion probability model and provide practical implementations of diffusion policy for online model-free RL. Concretely, we character diffusion policy as a stochastic process, which is a new approach to representing a policy. Then we present a convergence guarantee for diffusion policy, which provides a theory to understand the multimodality of diffusion policy. Furthermore, we propose the DIPO which is an implementation for model-free online RL with DIffusion POlicy. To the best of our knowledge, DIPO is the first algorithm to solve model-free online RL problems with the diffusion model. Finally, extensive empirical results show the effectiveness and superiority of DIPO on the standard continuous control Mujoco benchmark.

研究の動機と目的

• 深層強化学習における単一モードの方策表現の制限を解決する。これにより、探索が制限され、局所最適解に陥るリスクが生じる。
• 確率的微分方程式による拡散方策の理論的定式化を提供し、表現力のあるマルチモーダルな方策学習を可能にする。
• 拡散方策の収束保証を提供することで、安定な学習とそのマルチモーダルな挙動の理論的理解を確保する。
• モデルフリーのオンラインRLに拡散方策を用いる最初のアルゴリズムであるDIPOを設計・実装し、連続制御タスクにおける効率的かつ効果的な学習を可能にする。
• 実験的に、拡散ベースの方策がMuJoCo環境における探索の広がりと最終的な性能において、標準的手法を上回ることを示す。

提案手法

• 方策を確率的微分方程式（SDE）によって駆動される確率過程としてモデル化し、拡散方策を連続時間のマルコフ過程として表現する。
• 指数型積分子離散化を用いてSDEを数値的に解き、訓練中の安定的かつ微分可能な方策ロールアウトを実現する。
• 訓練目的関数を期待報酬の変分下界として定式化し、前向きおよび逆向きの拡散過程間のKLダイバージェンスを最小化する。
• アクション勾配更新を用いて拡散方策をモデルフリーRLフレームワークに統合し、オンライン相互作用と方策改善を可能にする。
• Donsker-Varadhan表現を適用してKLダイバージェンスの時間微分を導出し、方策勾配信号を用いたエンドツーエンドの学習を可能にする。
• ニューラルネットワークをDIPOに実装し、逆方向拡散過程におけるノイズ予測を可能にすることで、多様で高報酬の行動を生成する方策を実現する。

(a) Ant-v3

実験結果

リサーチクエスチョン

• RQ1 拡散確率モデルを強化学習における方策表現として形式的に裏付けられるか。
• RQ2 拡散方策の収束性とマルチモーダル表現力に関して、どのような理論的保証が存在するか。
• RQ3 動的モデルを必要とせずに、拡散方策をモデルフリーのオンラインRLアルゴリズムに効果的に統合できるか。
• RQ4 複雑な連続制御タスクにおいて、拡散方策の探索行動は、標準的な単一モード方策と比べてどのように異なるか。
• RQ5 拡散ベースの方策の実験的性能は、SAC、PPO、TD3などの最先端アルゴリズムと比べてどうか。

主な発見

• DIPOは、すべてのMuJoCo連続制御ベンチマークで最先端の性能を達成し、最終的報酬とサンプル効率の両面でPPO、SAC、TD3を上回る。
• DIPOは訓練中に広範囲にわたる状態への訪問行動を示し、初期および最終的な性能の向上と相関している。これは、優れた探索性能を示している。
• アルゴリズムは、広範囲の探索から焦点を当てた活用への自然な移行を示しており、最適なRL行動と一致する。これに対してPPOは、直感に反する探索パターンを示す。
• アブレーションスタディの結果、拡散モデルをVAEやMLPに置き換えると、性能が著しく低下することが確認され、方策表現としての拡散モデルの優位性が裏付けられた。
• MLPにアクション勾配を適用した場合、SACやDIPOのような複雑なアルゴリズムに匹敵する性能を示し、単純ながらも効果的なRLアーキテクチャの有望な方向性を示唆した。
• 理論的分析により、拡散方策が穏やかな条件下で収束することが確認され、そのRL応用における厳密な基礎が提供された。

(b) HalfCheetah-v3