[論文レビュー] Imitating Human Behaviour with Diffusion Models

Tim Pearce, Tabish Rashid+9 more|arXiv (Cornell University)|Jan 25, 2023

Human Motion and Animation被引用数 23

ひとこと要約

Diffusion models are used to imitate human behavior in sequential environments by learning the full joint distribution over actions conditioned on observations, outperforming traditional behavior cloning baselines in robotic control and video game tasks. The paper also analyzes architectures, guidance, and sampling strategies for reliable sequential imitation.

ABSTRACT

Diffusion models have emerged as powerful generative models in the text-to-image domain. This paper studies their application as observation-to-action models for imitating human behaviour in sequential environments. Human behaviour is stochastic and multimodal, with structured correlations between action dimensions. Meanwhile, standard modelling choices in behaviour cloning are limited in their expressiveness and may introduce bias into the cloned policy. We begin by pointing out the limitations of these choices. We then propose that diffusion models are an excellent fit for imitating human behaviour, since they learn an expressive distribution over the joint action space. We introduce several innovations to make diffusion models suitable for sequential environments; designing suitable architectures, investigating the role of guidance, and developing reliable sampling strategies. Experimentally, diffusion models closely match human demonstrations in a simulated robotic control task and a modern 3D gaming environment.

研究の動機と目的

• 観測に条件づけられた人間の行動の完全で多峰性の分布を、単純なBC仮定に依らずモデル化する動機。
• 拡散モデルが逐次環境における複雑な行動分布を正確に捉えられることを示す。
• 拡散モデルを観察から行動へのタスクへ適用するためのアーキテクチャ、ガイダンス、サンプリングの革新を開発する。
• ロボット制御と現代のビデオゲーム環境における拡散ベースのBCを評価し、強力なベースラインと比較する。

提案手法

• 観察から行動へのタスクのために、ノイズ除去型拡散確率モデル（DDPM）を適用して p(a|o) を学習する。
• 観測エンコーダと復号ネットワークを別々に用いた、アクションベクトル向けに特化したアーキテクチャ（Basic MLP、MLP Sieve、Transformer）の設計。
• 分類子なしガイダンス（CFG）が逐次の観測から行動へのタスクで性能を低下させることを調査。
• ロールアウト時に高尤度な行動を選択する信頼性の高いサンプリング方式（Diffusion-X、Diffusion-KDE）を導入。
• タスク間で、拡散ベースのBCをMSE、Discretised、K-Means、K-Means+Residual、EBMベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、逐次環境において人間のデモンストレーションを模倣するために、p(a|o) の全ての条件付き分布を正確にモデル化できるか。
• RQ2 アーキテクチャの選択（MLP、MLP Sieve、Transformer）が拡散ベースのBCの性能にどう影響するか。
• RQ3 ガイダンス機構（CFG）が逐次模倣に与える影響。
• RQ4 信頼性の高いサンプリング方式（Diffusion-X、Diffusion-KDE）は、行動サンプリングの堅牢性と忠実度を向上させるか。
• RQ5 拡散ベースの手法は、ロボット制御とCS:GOにおける複雑な環境へのスケールに、強力なBCベースラインと比べてどうか。

主な発見

方法	タスク ≥ 4 ↑	タスクのワッサースタイン ↓	時間のワッサースタイン ↓	状態のワッサースタイン ↓	密度 ↑	カバレッジ ↑
Diffusion BC, Basic MLP	0.45 ± 0.03	1.96 ± 0.12	12.04 ± 2.20	0.463 ± 0.012	0.54 ± 0.02	0.38 ± 0.01
Diffusion-KDE, Basic MLP	0.59 ± 0.01	1.72 ± 0.03	8.08 ± 0.24	0.481 ± 0.005	0.78 ± 0.00	0.37 ± 0.00
Diffusion-X, Basic MLP	0.58 ± 0.02	1.51 ± 0.14	8.61 ± 0.14	0.424 ± 0.017	0.64 ± 0.00	0.41 ± 0.00
MSE, MLP Sieve	0.5 ± 0.02	1.91 ± 0.07	6.40 ± 0.48	0.443 ± 0.021	0.71 ± 0.01	0.40 ± 0.01
Discretised, MLP Sieve	0.18 ± 0.02	3.43 ± 0.14	11.30 ± 1.29	0.651 ± 0.026	0.38 ± 0.02	0.31 ± 0.01
K-Means, MLP Sieve	0.0 ± 0.0	5.25 ± 0.0	–	1.469 ± 0.120	0.09 ± 0.00	0.06 ± 0.00
K-Means+Residual, MLP Sieve	0.23 ± 0.02	2.87 ± 0.16	11.60 ± 2.11	0.607 ± 0.027	0.51 ± 0.01	0.36 ± 0.00
EBM Deriv-Free, MLP Sieve	0.0	–	–	–	–	–
Diffusion BC, MLP Sieve	0.68 ± 0.02	1.31 ± 0.05	6.06 ± 1.10	0.373 ± 0.012	0.66 ± 0.01	0.42 ± 0.00
Diffusion-KDE, MLP Sieve	0.79 ± 0.04	1.6 ± 0.24	6.77 ± 0.64	0.439 ± 0.039	0.93 ± 0.02	0.41 ± 0.01
Diffusion-X, MLP Sieve	0.77 ± 0.02	1.06 ± 0.05	5.24 ± 0.90	0.344 ± 0.004	0.78 ± 0.01	0.45 ± 0.00
MSE, Transformer	0.69 ± 0.02	1.47 ± 0.13	5.85 ± 0.27	0.397 ± 0.034	0.81 ± 0.01	0.42 ± 0.01
Discretised, Transformer	0.34 ± 0.02	2.54 ± 0.14	6.13 ± 0.49	0.512 ± 0.002	0.47 ± 0.01	0.36 ± 0.00
K-Means, Transformer	0.0	5.25	–	1.470	0.07	0.06
K-Means+Residual, Transformer	0.34 ± 0.02	2.25 ± 0.16	7.80 ± 0.87	0.426 ± 0.018	0.66 ± 0.02	0.38 ± 0.01
Diffusion BC, Transformer	0.77 ± 0.01	1.35 ± 0.11	4.11 ± 0.05	0.340 ± 0.003	0.74 ± 0.01	0.44 ± 0.00
Diffusion-KDE, Transformer	0.89 ± 0.01	1.31 ± 0.03	5.28 ± 0.41	0.418 ± 0.012	0.97 ± 0.02	0.43 ± 0.01
Diffusion-X, Transformer	0.88 ± 0.01	1.17 ± 0.13	4.65 ± 0.47	0.365 ± 0.013	0.94 ± 0.02	0.45 ± 0.01

• 拡散ベースのBCは、タスク完了率や人間への分布的類似性を含む複数の指標で、ロボット制御タスクにおいてすべてのベースラインを上回る。
• アーキテクチャの選択は重要：TransformerとMLP SieveはBasic MLPを上回る；Transformerは最も良い指標を示すがサンプリングが遅い。
• 分類子なしガイダンス（CFG）は、逐次の観測から行動へのタスクにおける性能を低下させ、より珍しい軌道へのバイアスを高める。
• サンプリング方式のDiffusion-XとDiffusion-KDEは、標準のDiffusion BCより信頼性と忠実度を向上させるが、KDEは多様性を低下させる可能性がある。
• CS:GO風のビデオゲームタスクでは、Diffusion-Xが人間行動との最良のワッサースタイン距離を達成し、競争力のあるゲームスコアを得る一方、サンプリングレートは遅いが実行可能。