[논문 리뷰] Generative Skill Chaining: Long-Horizon Skill Planning with Diffusion Models

Utkarsh A. Mishra, Shangjie Xue외 2명|arXiv (Cornell University)|2023. 10. 13.

Robot Manipulation and Learning인용 수 5

한 줄 요약

생성적 스킬 체이닝(GSC)은 스킬 중심의 확산 모델을 사용하여 학습된 분포를 병렬로 조합함으로써 장기 조망의 조작 계획을 생성하는 확률적 프레임워크를 도입한다. 이는 시뮬레이션과 실제 로봇 하드웨어에서 모두 높은 일반화 능력과 재계획 능력을 갖춘 효율적이고 제약 인식 계획을 가능하게 한다.

ABSTRACT

Long-horizon tasks, usually characterized by complex subtask dependencies, present a significant challenge in manipulation planning. Skill chaining is a practical approach to solving unseen tasks by combining learned skill priors. However, such methods are myopic if sequenced greedily and face scalability issues with search-based planning strategy. To address these challenges, we introduce Generative Skill Chaining~(GSC), a probabilistic framework that learns skill-centric diffusion models and composes their learned distributions to generate long-horizon plans during inference. GSC samples from all skill models in parallel to efficiently solve unseen tasks while enforcing geometric constraints. We evaluate the method on various long-horizon tasks and demonstrate its capability in reasoning about action dependencies, constraint handling, and generalization, along with its ability to replan in the face of perturbations. We show results in simulation and on real robot to validate the efficiency and scalability of GSC, highlighting its potential for advancing long-horizon task planning. More details are available at: https://generative-skill-chaining.github.io/

연구 동기 및 목표

• 복잡한 하위작업 간 의존성과 큰 탐색 공간으로 인해 확장성이 떨어지는 조작 분야의 장기 조망 작업 계획 문제를 해결한다.
• 계산 비용이 높고 일반화 능력이 떨어지는 탐색 기반 또는 탐욕적 스킬 체이닝 방법의 한계를 극복한다.
• 스킬 전이의 생성 모델링을 통해 새로운 작업에 대해 효율적이고 확장 가능하며 제약 인식 계획을 가능하게 한다.
• 폐쇄형 계획과 장면 재구성 기반으로 내성적 외란에 대한 강건성을 확보하고 실제 환경에의 구현을 지원한다.
• 스킬 학습을 작업 특화 계획에서 분리하여 테스트 시점에 복합적 사용을 위한 일반화 가능한 스킬 확산 모델을 훈련한다.

제안 방법

• 전문가 시범 데이터를 사용하여 전제 조건, 스킬 파라미터, 효과(즉, 상태 전이)의 연합 분포를 학습하기 위해 개별 스킬 전용 확산 모델을 훈련한다.
• 추론 시 훈련된 스킬 확산 모델을 선형 체인으로 조합하여 초기 상태와 목표 조건에 따라 전체 스킬 시퀀스를 생성한다.
• 샘플링 중 기하학적 및 작업 제약 조건을 강제로 이행하기 위해 분류기 기반 가이던스를 사용하여 타당성과 목표 달성 여부를 보장한다.
• 모든 스킬 모델을 동시에 샘플링하여 순차적 탐욕 계획의 단점을 피하고 후보 계획의 효율성과 다양성을 향상시킨다.
• 개별 스킬 성공 확률의 곱을 사용해 후보 계획을 필터링하여 가장 가능성 높고 고성능의 해를 선택한다.
• AprilTag 기반 실시간 시뮬레이션 장면 재구성과 상태 업데이트 후 실시간 재계획 기능을 갖춘 폐쇄형 시스템을 실제 로봇 하드웨어에 구현한다.

Figure 1: (Top) Generative Skill Chaining (GSC) aims to solve a long-horizon task for a given sequence of skills by using linear probabilistic chains to parallelly sample from a joint distribution of multiple skill-specific transitions $q_{\pi}(\textbf{s},\textbf{a},\textbf{s}^{\prime})$ learned usi

실험 결과

연구 질문

• RQ1 스킬 전이의 생성 모델링이 체계적 탐색 없이도 효율적이고 확장 가능하며 일반화 가능한 장기 조망 계획을 가능하게 할 수 있는가?
• RQ2 확산 기반 스킬 모델이 장기 조망 작업에서 행동 간 복잡한 의존성과 기하학적 제약 조건을 얼마나 잘 처리할 수 있는가?
• RQ3 이 프레임워크는 재계획 기능을 통해 환경적 외란에 얼마나 잘 대응하고 새로운 작업 스켈레톤으로 일반화할 수 있는가?
• RQ4 성공률, 계획 효율성, 제약 조건 처리 측면에서 GSC의 성능이 판별적 또는 탐욕적 기준 모델보다 어떻게 뛰어나게 되는가?
• RQ5 실시간 피드백과 장면 재추정 기능을 갖춘 실제 로봇 시스템에 이 프레임워크를 효과적으로 구현할 수 있는가?

주요 결과

• GSC는 구성된 스킬 확산 모델에서 샘플링함으로써 장기 조망 조작 작업에서 높은 성공률를 달성하며, 성공 확률 지표를 활용해 다수의 후보 계획을 필터링한다.
• 실제 실험에서 재구성된 장면을 기반으로 폐쇄형 재계획을 통해 외부 요동에 대한 강건성을 입증한다.
• 프랑카 펜다 로봇에 대한 실제 환경 배포 결과, GSC는 새로운 시나리오, 특히 미리 보지 못한 물체 배치와 작업 변형에 대해 잘 일반화됨을 보여준다.
• 학습된 분포에서 병렬 샘플링 덕분에 탐욕적 또는 탐색 기반 기준 모델 대비 확장성과 효율성에서 뛰어난 성능을 발휘한다.
• 분류기 기반 가이던스를 통해 올바른 물체 배치와 도구 상호작용 기하학을 효과적으로 제약 조건으로 이행할 수 있다.
• 이 프레임워크는 어떤 스켈레톤 기반 계획 방법과도 호환되며, 스킬 탐색 또는 사전 학습된 모델을 통합해 더 넓은 적용 범위로 확장 가능하다.

Figure 2: (a) A linear chain graph for a long sequence of transitions and (b) adding an additional constraint node.