[논문 리뷰] Zero-Shot Generalization from Motion Demonstrations to New Tasks

Kilian Freitag, Alvin Combrink외 1명|arXiv (Cornell University)|2026. 03. 16.

Robot Manipulation and Learning인용 수 0

한 줄 요약

이 논문은 Gaussian Graph를 통해 여러 모션 시연을 Stitch하고 Chain하여 unseen tasks에 대한 제로샷 정책을 생성하고 GAS 보장 및 실제 로봇 검증을 제공한다.

ABSTRACT

Learning motion policies from expert demonstrations is an essential paradigm in modern robotics. While end-to-end models aim for broad generalization, they require large datasets and computationally heavy inference. Conversely, learning dynamical systems (DS) provides fast, reactive, and provably stable control from very few demonstrations. However, existing DS learning methods typically model isolated tasks and struggle to reuse demonstrations for novel behaviors. In this work, we formalize the problem of combining isolated demonstrations within a shared workspace to enable generalization to unseen tasks. The Gaussian Graph is introduced, which reinterprets spatial components of learned motion primitives as discrete vertices with connections to one another. This formulation allows us to bridge continuous control with discrete graph search. We propose two frameworks leveraging this graph: Stitching, for constructing time-invariant DSs, and Chaining, giving a sequence-based DS for complex motions while retaining convergence guarantees. Simulations and real-robot experiments show that these methods successfully generalize to new tasks where baseline methods fail.

연구 동기 및 목표

• 공용 작업공간에서의 시연 재사용을 통해 보이지 않는 작업에 대한 제로샷 일반화를 가능하게 한다.
• 다수의 시연을 Gaussian Graph로 표현하여 그래프 기반 정책 합성을 가능하게 한다.
• 수렴 보장을 갖는 시공간 불변(Stitching) 및 순차적(Chaining) 프레임워크를 제공한다.
• 시뮬레이션 및 실제 로봇 실험으로 baseline LPV-DS 방법보다 일반화가 향상됨을 평가한다.

제안 방법

• Gaussian Graph(GG)를 도입하여 LPV-DS 구성요소의 Gaussian 중심을 그래프 정점으로 보고 방향성 간선으로 연결한다.
• 가우시안 중심을 연결하기 위한 엣지 조건을 지역 동역학의 정렬 및 데이터 지원을 Bhattacharyya 계수로 정의한다.
• 수렴 보장을 갖는 시간 불변 DS를 구축하기 위해 두 가지 Stitching 프레임워크(Shortest Path와 Shortest Path Tree)를 구성한다.
• GG 구성요소로부터 새로운 DS를 형성하기 위한 두 가지 재사용 전략(No Reuse, Reusing Gaussians)을 제안한다.
• 특정 조건에서 전역 점근적 안정성(GAS)을 갖는 로컬 DS들의 시퀀스(DS-Chain)를 생성하기 위한 Demonstration Chaining을 개발한다.
• 전이 구간의 중간 동역학과 체인의 GAS를 보장하는 하이브리드 오토마톤 형식을 제공한다.

실험 결과

연구 질문

• RQ1 공유 작업공간의 개별 시연을 조합하여 새로운 데이터 없이 unseen tasks를 해결할 수 있는가(제로샷 일반화)?
• RQ2 LPV-DS 구성요소를 Gaussian Graph를 통해 통합하여 새로운 모션 정책을 합성할 수 있는가?
• RQ3 Stitching과 Chaining의 일반화, 계산, 궤적 품질 관점의 트레이드오프는 무엇인가?
• RQ4 제안된 Stitching 및 Chaining 프레임워크에 대해 어떤 이론적 보장(GAS)을 확립할 수 있는가?

주요 결과

• Stitch-SP 및 Stitch-SPT는 2D 및 3D 데이터셋에서 LPV-DS 기준선보다 현저히 높은 성공률을 달성한다.
• Stitch-SPAll: 2D Small에서 98.3% 성공, RMSE 0.08 및 Data Support 0.86; 2D Large에서 90.2% 성공; 3D PC-GMM에서 90.0% 성공.
• Stitch-SPTAll: 2D Small에서 97.5% 성공; 3D PC-GMM에서 81.7% 성공; 일반적으로 강한 데이터 지원 및 낮은 RMSE.
• Chaining 방법은 고품질 궤적과 가장 빠른 추론 시간을 제공하여 단일 시점 불변 DS의 용량을 넘어서는 복합적 교차 모션을 가능하게 한다.
• 데이터세트 전반에 걸쳐 GG 기반 방법이 성공률과 궤적 품질 면에서 기준선보다 일관되게 우수하며, 오프라인 사전계산이 온라인 속도 향상을 가능하게 한다(Chaining DS≈4.2s).
• 실제 로봇 실험에서 Stitch-SPT(DS) 및 Chaining(DS)를 사용한 미지의 작업에서 제로샷 성공이 확인되었다.