[논문 리뷰] Goal-Conditioned Imitation Learning using Score-based Diffusion Policies

Moritz Reuss, Maximilian Xiling Li외 2명|arXiv (Cornell University)|2023. 01. 01.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 비정제된 플레이 데이터에서 다양한 다중모드 행동을 생성하기 위해 스코어 기반 확산 모델(SDM)을 사용하는 목표 조건화된 묘사 학습 프레임워크인 BESO를 소개한다. 스코어 모델 훈련을 추론 과정에서 분리함으로써 BESO는 이전의 확산 기반 정책보다 훨씬 빠른 3단계의 노이즈 제거 과정만으로도 높은 성능의 행동 생성을 달성한다. 동시에 분류기 자유 가이던스를 통해 목표에 따라 달라지는 정책과 목표에 관계없이 동일한 정책을 동시에 학습할 수 있다.

ABSTRACT

We propose a new policy representation based on score-based diffusion models (SDMs). We apply our new policy representation in the domain of Goal-Conditioned Imitation Learning (GCIL) to learn general-purpose goal-specified policies from large uncurated datasets without rewards. Our new goal-conditioned policy architecture "$ extbf{BE}$havior generation with $ extbf{S}$c$ extbf{O}$re-based Diffusion Policies" (BESO) leverages a generative, score-based diffusion model as its policy. BESO decouples the learning of the score model from the inference sampling process, and, hence allows for fast sampling strategies to generate goal-specified behavior in just 3 denoising steps, compared to 30+ steps of other diffusion based policies. Furthermore, BESO is highly expressive and can effectively capture multi-modality present in the solution space of the play data. Unlike previous methods such as Latent Plans or C-Bet, BESO does not rely on complex hierarchical policies or additional clustering for effective goal-conditioned behavior learning. Finally, we show how BESO can even be used to learn a goal-independent policy from play-data using classifier-free guidance. To the best of our knowledge this is the first work that a) represents a behavior policy based on such a decoupled SDM b) learns an SDM based policy in the domain of GCIL and c) provides a way to simultaneously learn a goal-dependent and a goal-independent policy from play-data. We evaluate BESO through detailed simulation and show that it consistently outperforms several state-of-the-art goal-conditioned imitation learning methods on challenging benchmarks. We additionally provide extensive ablation studies and experiments to demonstrate the effectiveness of our method for goal-conditioned behavior generation. Demonstrations and Code are available at https://intuitive-robots.github.io/beso-website/

연구 동기 및 목표

• 대규모이자 비정제되고 보상이 없는 플레이 데이터셋에서 사전 정의된 작업 레이블 없이도 다양한 행동을 수행할 수 있는 목표 조건화된 정책을 학습하는 데 도전한다.
• 기존 방법들이 오프라인 묘사 학습에서 다중모드 행동 분포와 고차원 행동 공간을 다루는 데에 한계를 보이는 문제를 해결한다.
• 확산 모델을 사용하여 추론 시간을 줄이고, 30+ 단계에서 3단계로 줄여 빠르고 결정적인 행동 생성을 가능하게 한다.
• 분류기 자유 가이던스를 통해 동일한 데이터셋에서 목표에 따라 달라지는 정책과 목표에 관계없이 동일한 정책을 동시에 학습한다.
• 복잡한 계층적 아키텍처나 추가 클러스터링 없이도 안정적인 단일 目표 훈련 프레임워크를 제공한다.

제안 방법

• BESO는 핵심 정책 표현으로 스코어 기반 확산 모델(SDM)을 사용하며, 상태-행동 트레이젝터리에 점진적으로 노이즈를 첨가하는 정방향 SDE를 역으로 수행하도록 훈련한다.
• 이 방법은 스코어 모델 훈련을 추론 샘플링 과정에서 분리함으로써, 행동 생성을 위한 단지 3단계의 반복적 노이즈 제거를 가능하게 한다.
• 관측값과 목표 상태를 고려한 조건부 행동 분포를 모델링하기 위해 프리컨dition링을 적용한 Transformer 기반 아키텍처를 사용한다.
• 추론 시 분류기 자유 가이던스(CFG)를 적용하여 동일한 모델에서 목표 조건화된 정책과 무조건적 정책을 재학습 없이 생성한다.
• 샘플링 중 노이즈 주입을 평가했지만, 저차원 행동 공간에서는 유의미한 성능 향상이 없음을 확인하여 결정론적 추론을 채택하였다.
• 보상 조정이나 인간에 의한 타겟 트레이젝터리 레이블 없이, 오프라인 비정제 플레이 데이터를 사용해 엔드 투 엔드로 단일 목표로 훈련한다.

Figure 1: Overview of the action generation process of BESO with the used model architecture. Left: General Action Generation Process using the Diffusion Process to denoise the next action given the current observation $\boldsymbol{s}$ and desired goal state $\boldsymbol{g}$ in $N$ -steps. Middle: t

실험 결과

연구 질문

• RQ1 스코어 기반 확산 모델은 오프라인 묘사 학습에서 다중모드의 목표 조건화된 행동 정책을 효과적으로 표현할 수 있는가?
• RQ2 확산 기반 정책은 이전 방법보다 훨씬 더 빠른 추론 시간을 확보하기 위해 단지 3단계의 노이즈 제거 과정으로도 높은 성능을 달성할 수 있는가?
• RQ3 동일한 SDM이 분류기 자유 가이던스를 통해 목표에 따라 달라지는 정책과 목표에 관계없이 동일한 정책을 동시에 학습할 수 있는가?
• RQ4 스텝 기반 행동 생성에서 샘플링 중 노이즈 주입은 이미지 생성과 마찬가지로 성능 향상에 기여하는가?
• RQ5 BESO는 계층적 아키텍처나 추가 클러스터링 없이 다양한 고차원 환경으로 일반화 가능한가?

주요 결과

• BESO는 Relay Kitchen 및 Block-Push 환경을 포함한 도전적인 GCIL 벤치마크에서 C-BeT 및 잠재 모터 플랜(Latent Motor Plans)과 같은 최신 기술을 뛰어넘는 성능을 보였다.
• 모델는 단지 3단계의 노이즈 제거 과정만으로 SOTA 성능을 달성했으며, 이는 이전의 확산 기반 정책가 요구하는 30+ 단계보다 훨씬 빠른 속도를 의미한다.
• 분류기 자유 가이던스를 통해 목표에 따라 달라지는 정책과 목표에 관계없이 동일한 정책을 동시에 학습할 수 있었으며, λ=0일 때 후자는 무작위 롤아웃 정책을 회복하였다.
• 스텝 기반 행동 생성에서 샘플링 중의 노이즈 주입은 성능 향상에 기여하지 않았으며, 이는 고차원 행동 공간에서의 노이즈가 저차원 행동 공간에서는 덜 중요한 요소임을 시사한다.
• CFG에서 최고의 성능은 λ=1.25에서 달성되었으며, 높은 값은 고차원 행동 공간에서 불안정성을 유발하였다.
• 아블레이션 연구를 통해 분리된 훈련-추론 설계와 빠른 수치 해법이 모델의 속도와 안정성에 필수적임을 확인하였다.

Figure 2: Simulation environments for testing the performance of BESO: Multi-Modal Block-push (left); Relay Kitchen (middle); CALVIN (right)