[論文レビュー] Goal-Conditioned Imitation Learning using Score-based Diffusion Policies

Moritz Reuss, Maximilian Xiling Li+2 more|arXiv (Cornell University)|Jan 1, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文では、非構造化なプレイデータから多様でマルチモーダルな行動を生成するスコアベースの拡散モデル（SDM）を用いた、ゴール条件付きの模倣学習フレームワークBESOを提案する。スコアモデルの学習と推論を分離することで、3ステップのデノイジングのみで高速な行動生成を実現し、従来の拡散ベースのポリシーと比較して著しく高速化されている。同時に、分類器フリー指導を用いることで、ゴール依存とゴール非依存のポリシーを同時に学習可能である。

ABSTRACT

We propose a new policy representation based on score-based diffusion models (SDMs). We apply our new policy representation in the domain of Goal-Conditioned Imitation Learning (GCIL) to learn general-purpose goal-specified policies from large uncurated datasets without rewards. Our new goal-conditioned policy architecture "$ extbf{BE}$havior generation with $ extbf{S}$c$ extbf{O}$re-based Diffusion Policies" (BESO) leverages a generative, score-based diffusion model as its policy. BESO decouples the learning of the score model from the inference sampling process, and, hence allows for fast sampling strategies to generate goal-specified behavior in just 3 denoising steps, compared to 30+ steps of other diffusion based policies. Furthermore, BESO is highly expressive and can effectively capture multi-modality present in the solution space of the play data. Unlike previous methods such as Latent Plans or C-Bet, BESO does not rely on complex hierarchical policies or additional clustering for effective goal-conditioned behavior learning. Finally, we show how BESO can even be used to learn a goal-independent policy from play-data using classifier-free guidance. To the best of our knowledge this is the first work that a) represents a behavior policy based on such a decoupled SDM b) learns an SDM based policy in the domain of GCIL and c) provides a way to simultaneously learn a goal-dependent and a goal-independent policy from play-data. We evaluate BESO through detailed simulation and show that it consistently outperforms several state-of-the-art goal-conditioned imitation learning methods on challenging benchmarks. We additionally provide extensive ablation studies and experiments to demonstrate the effectiveness of our method for goal-conditioned behavior generation. Demonstrations and Code are available at https://intuitive-robots.github.io/beso-website/

研究の動機と目的

• 大規模で非構造的かつ報酬なしのプレイデータセットから、事前に定義されたタスクラベルのない、多様でゴール条件付きのポリシーを学習する課題に対処すること。
• 従来の手法が、オффライン模倣学習におけるマルチモーダルな行動分布や高次元の行動空間を扱う際に抱える制限を克服すること。
• 拡散モデルを用いて、30ステップ以上を要する従来の方法と比較して著しく短い3ステップで、高速かつ決定論的な行動生成を実現すること。
• 分類器フリー指導を用いて、同じデータセットからゴール依存とゴール非依存の両方のポリシーを同時に学習すること。
• 複雑な階層的アーキテクチャや追加のクラスタリングを回避する、安定した単一目的の学習フレームワークを提供すること。

提案手法

• BESOは、状態行動軌道に徐々にノイズを加える前向きのSDEを逆方向に学習するスコアベースの拡散モデル（SDM）をポリシー表現の中心として採用する。
• スコアモデルの学習と推論プロセスを分離することで、3ステップの反復的デノイジングによる高速な行動生成を実現する。
• 観測値とゴール状態を条件として与えた行動分布をモデル化するために、前処理を施したTransformerベースのアーキテクチャを用いる。
• 推論時に分類器フリー指導（CFG）を適用し、再学習なしに同じモデルからゴール条件付きおよび無条件ポリシーを生成可能にする。
• サンプリング時のノイズ注入を評価したが、低次元の行動空間では顕著な性能向上が得られなかったため、決定論的な推論を採用した。
• 報酬形状付けや人間によるアノテーション付き軌道を一切用いずに、オフラインで非構造化されたプレイデータを用いて、エンドツーエンドで学習する。

Figure 1: Overview of the action generation process of BESO with the used model architecture. Left: General Action Generation Process using the Diffusion Process to denoise the next action given the current observation $\boldsymbol{s}$ and desired goal state $\boldsymbol{g}$ in $N$ -steps. Middle: t

実験結果

リサーチクエスチョン

• RQ1 スコアベースの拡散モデルは、オフライン模倣学習においてマルチモーダルでゴール条件付きの行動ポリシーを効果的に表現できるか？
• RQ2 拡散ベースのポリシーは、3ステップのデノイジングのみで高い性能を達成できるか？これは、従来の30ステップ以上を要する方法と比較して、著しく推論時間を短縮する。
• RQ3 1つのSDMが分類器フリー指導を用いて、同時にゴール依存とゴール非依存のポリシーを学習できるか？
• RQ4 画像生成とは異なり、ステップベースの行動生成において、サンプリング時にノイズを注入することで性能が向上するか？
• RQ5 BESOは、階層的構造や追加のクラスタリングを一切用いずに、多様で高次元の環境に一般化可能か？

主な発見

• BESOは、Relay Kitchen や Block-Push 環境を含む挑戦的なGCILベンチマークにおいて、C-BeT や Latent Motor Plans よりも優れた性能を示した。
• わずか3ステップのデノイジングで最先端の性能を達成しており、従来の拡散ベースポリシーが30ステップ以上を要するのと比較して著しく高速である。
• 分類器フリー指導により、ゴール依存とゴール非依存の両方のポリシーを同時に学習可能であり、λ=0のときにはランダムなロールアウトポリシーが回復された。
• ステップベースの行動生成において、サンプリング時のノイズ注入は性能向上に寄与しなかった。これは、低次元の行動空間では高次元のノイズが重要ではないことを示唆している。
• CFGにおける最良の性能はλ=1.25で達成されたが、より高い値では高次元の行動空間で不安定性が生じた。
• アブレーションスタディにより、学習と推論の分離設計および高速な数値解法が、モデルの高速性と安定性に不可欠であることが確認された。

Figure 2: Simulation environments for testing the performance of BESO: Multi-Modal Block-push (left); Relay Kitchen (middle); CALVIN (right)