[論文レビュー] Is Conditional Generative Modeling all you need for Decision-Making?

Anurag Ajay, Yilun Du+4 more|arXiv (Cornell University)|Nov 28, 2022

Language and cultural evolution被引用数 31

ひとこと要約

本論文はオフライン意思決定を条件付き拡散モデリングとして再定義し、返り値条件付き拡散モデル（Decision Diffuser）がTD学習なしで競争力のある、あるいは優れたポリシーを生み出し、制約とスキルの組み合わせにも柔軟に対応できることを示す。

ABSTRACT

Recent improvements in conditional generative modeling have made it possible to generate high-quality images from language descriptions alone. We investigate whether these methods can directly address the problem of sequential decision-making. We view decision-making not through the lens of reinforcement learning (RL), but rather through conditional generative modeling. To our surprise, we find that our formulation leads to policies that can outperform existing offline RL approaches across standard benchmarks. By modeling a policy as a return-conditional diffusion model, we illustrate how we may circumvent the need for dynamic programming and subsequently eliminate many of the complexities that come with traditional offline RL. We further demonstrate the advantages of modeling policies as conditional diffusion models by considering two other conditioning variables: constraints and skills. Conditioning on a single constraint or skill during training leads to behaviors at test-time that can satisfy several constraints together or demonstrate a composition of skills. Our results illustrate that conditional generative modeling is a powerful tool for decision-making.

研究の動機と目的

• 条件付き生成モデルを用いた逐次意思決定の motivate を従来の RL を超えて行うこと。
• 返り値条件付き拡散モデルが価値関数の推定なしに、サブ最適なオフライン軌跡を高リターンの計画へ繋ぐことができることを示す。
• テスト時に制約とスキルを条件付けして、複合的な挙動を生成できることを示す。
• オフラインデータから軌跡リターンを最大化するための低温サンプリングを伴う classifier-free guidance を提案する。
• 条件付き生成モデリングが標準ベンチマークで複数のオフラインRLのベースラインよりも優れているというエビデンスを提供する。

提案手法

• 状態のみの拡散過程として軌跡をモデル化し、inverse dynamics により行動を取得する。
• p_theta という逆拡散モデルを訓練し、y(tau)（リターン、制約、またはスキル）で条件付けされたノイズ状態列をデノイズする。
• 明示的なQ関数なしに高リターン軌道や制約を満たす軌道へ生成を偏らせる classifier-free guidance を低温サンプリングで使用する。
• リターン、制約、またはスキルを条件付けて、最大リターンを返す、複数の制約を満たす、またはスキルを組み合わせた挙動を生成する。
• 生成された状態遷移を実行可能な行動へ写像する逆動力学モデル f_phi(s_t, s_{t+1}) を組み込む。
• 拡散モデルと逆動力学を最大尤度風目的関数とデノイジング損失（条件付けドロップアウトを時々適用）で共同訓練する。

実験結果

リサーチクエスチョン

• RQ1 リターン条件付き拡散モデルは動的計画法やQ関数推定なしでオフラインRLの性能を回復または上回ることができるか。
• RQ2 制約やスキルといった追加因子の条件付けは、テスト時の挙動の柔軟な組成を可能にするか。
• RQ3 低温サンプリングを用いた classifier-free guidance はオフラインデータを高リターン軌道に偏らせるのに有効か。
• RQ4 拡散ベースのポリシーは標準ベンチマークでTDベースのオフラインRL手法とどのように比較されるか。
• RQ5 複数の制約・スキルを扱い、推論時にそれらを組み合わせることができるか。

主な発見

データセット	環境	BC	CQL	IQL	DT	TT	MOReL	Diffuser	DD
Med-Expert	HalfCheetah	$55.2$	$91.6$	$86.7$	$86.8$	95	$53.3$	$79.8$	$90.6$ \\pm 1.3$
Med-Expert	Hopper	$52.5$	$105.4$	$91.5$	$107.6$	110.0	$108.7$	$107.2$	111.8 \\pm 1.8$
Med-Expert	Walker2d	$107.5$	$108.8$	$109.6$	$108.1$	$101.9$	$95.6$	108.4	108.8 \\pm 1.7$
Medium	HalfCheetah	$42.6$	$44.0$	$47.4$	$42.6$	$46.9$	$42.1$	$44.2$	49.1 \\pm 1.0$
Medium	Hopper	$52.9$	$58.5$	$66.3$	$67.6$	$61.1$	-	$58.5$	$79.3$ \\pm 3.6$
Medium	Walker2d	$75.3$	$72.5$	$78.3$	$74.0$	$79$	$77.8$	$79.7$	82.5 \\pm 1.4$
Med-Replay	HalfCheetah	$36.6$	45.5	44.2	$36.6$	$41.9$	$40.2$	$42.2$	$39.3$ \\pm 4.1$
Med-Replay	Hopper	$18.1$	$95$	$94.7$	$82.7$	$91.5$	$93.6$	$96.8$	100 \\pm 0.7$
Med-Replay	Walker2d	$26.0$	$77.2$	$73.9$	$66.6$	$82.6$	$49.8$	$61.2$	$75$ \\pm 4.3$
Average	(Across tasks)	51.9	77.6	77	74.7	78.9	72.9	75.3	81.8
Mixed	Kitchen	$44.8$	$51.2$	$48.7$	-	-	-	-	61 \\pm 2.8$

• Decision Diffuser は D4RL の locomotion タスクと Kitchen タスクで複数のオフラインRLベースライン（TD 手法）に匹敵するか、あるいは上回る。
• 低温サンプリングを用いた classifier-free guidance は、ベースラインの拡散モデルと比較して軌道品質とリターン最大化を改善。
• 逆動力学を用いた行動抽出は、評価環境全体で行動を拡散させるよりも良い性能を示した。
• Kuka Block Stacking で単一および複数の制約を効果的に満たし、BCQ や CQL がいくつかのタスクで失敗するのを上回った。
• Unitree-go-running のスキル組成実験では、複数のスキルで条件付けされた軌跡が歩容間を遷移することを示し、生成系列における歩容切替は分類ベースの分析で確認された。