[논문 리뷰] Learning Periodic Tasks from Human Demonstrations

Jingyun Yang, Ruoyu Zhang외 4명|arXiv (Cornell University)|2021. 09. 28.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 마커나 주석 없이 단일 인간 비디오 시연에서 주기적인 로봇 조작 스킬을 학습하는 ViPTL을 제안한다. 리듬적 DMP, 비지도 키포인트 추적, 베이지안 최적화를 활용하여 ViPTL은 50회의 로봇 시험 동안 탄성 물체 및 입자 물체를 다루는 작업—예를 들어 닦기, 감기, 저지르기—에서 높은 모방 성능을 달성한다.

ABSTRACT

We develop a method for learning periodic tasks from visual demonstrations. The core idea is to leverage periodicity in the policy structure to model periodic aspects of the tasks. We use active learning to optimize parameters of rhythmic dynamic movement primitives (rDMPs) and propose an objective to maximize the similarity between the motion of objects manipulated by the robot and the desired motion in human video demonstrations. We consider tasks with deformable objects and granular matter whose states are challenging to represent and track: wiping surfaces with a cloth, winding cables/wires, and stirring granular matter with a spoon. Our method does not require tracking markers or manual annotations. The initial training data consists of 10-minute videos of random unpaired interactions with objects by the robot and human. We use these for unsupervised learning of a keypoint model to get task-agnostic visual correspondences. Then, we use Bayesian optimization to optimize rDMPs from a single human video demonstration within few robot trials. We present simulation and hardware experiments to validate our approach.

연구 동기 및 목표

• 비정형 인간 비디오 시연에서 샘플 효율적인 주기적 조작 작업 학습을 가능하게 하기 위해.
• 수동 주석이나 마커 없이 탄성 및 입자 물체 상태를 표현하고 추적하는 과제를 해결하기 위해.
• 장기적이고 반복적인 작업 학습의 복잡성을 줄이기 위해 인간 시연의 주기성을 활용하기 위해.
• 비틀림 재료를 포함한 다양한 주기적 작업에 일반화 가능한 인식 및 최적화 프레임워크를 개발하기 위해.
• 최소한의 인간 간섭과 적은 수의 로봇 시험으로 높은 모방 성능를 달성하기 위해.

제안 방법

• 시간 적응을 위한 이동 파rameter를 갖춘 리듬적 동적 운동 원리(rDMP)를 사용하여 주기적 운동을 모델링한다.
• 작업에 관계없는 로봇 플레이 데이터에서 비지도 키포인트 검출을 수행하여 인간과 로봇 운동 간의 시각적 대응 관계를 설정한다.
• 인간 시연를 단일 주기 성분으로 분할하기 위해 주기성 추정을 적용하여 rDMP 학습을 수행한다.
• 키포인트 간 거리 기반 유사도 목적함수를 사용하여 rDMP 파rameter를 최적화하기 위해 베이지안 최적화(BO)를 적용한다.
• 로봇 플레이 데이터에서 '상상'된 궤적을 생성하여 BO의 웜스타트 후보를 제공함으로써 샘플 효율성을 향상시킨다.
• 로봇 실행과 인간 시연 프레임 간의 키포인트 기반 거리 메트릭을 사용하여 운동 유사도를 계산한다.

Figure 1 : Examples of everyday periodic tasks. Our robot learns to imitate wiping, stirring and winding from human video demonstrations (top row).

실험 결과

연구 질문

• RQ1 로봇은 한 번의 비정형 인간 비디오 시연에서 탄성 및 입자 물체를 포함한 복잡한 주기적 조작 작업을 성공적으로 학습할 수 있는가?
• RQ2 지표 주석 없이도 비지도 키포인트 모델이 운동 유사도 계산을 얼마나 효과적으로 가능하게 하는가?
• RQ3 정책 구조에 주기성을 활용할 경우, 모방 학습에서 샘플 효율성이 얼마나 향상되는가?
• RQ4 키포인트 기반 점수를 사용한 베이지안 최적화가 주기적 작업 모방에서 모델 자유형 또는 역학 기반 베이스라인을 초월할 수 있는가?
• RQ5 실세계의 불확실한 동역학 조건 하에서, 닦기, 감기, 저지르기와 같은 다양한 작업에 대해 이 방법의 일반화 능력은 얼마나 뛰어난가?

주요 결과

• ViPTL는 단일 인간 비디오 시연를 사용하여 50회의 로봇 시험 내에 테이블 닦기, 로프 감기, 음식 저지르기 작업을 성공적으로 학습하였다.
• 세 가지 작업 전반에서 직접 모방 및 모델 기반 모방 학습 베이스라인을 모두 능가하였으며, 특히 탄성 및 입자 물체 조작에서 뛰어난 성능를 보였다.
• 키포인트 기반 비용 함수는 분류기 기반 메트릭보다 성능을 크게 향상시켰으며, 모든 작업에서 분류기 기반 메트릭은 제한된 정확도를 보였다.
• 상상된 궤적을 통한 웜스타트를 제공하는 베이지안 최적화는 고성능 rDMP 파rameter로의 신속한 수렴을 가능하게 하여 시행 간 일관된 향상을 이룩하였다.
• 실세계 실험에서 ViPTL는 불확실성이 증가하는 환경에서도 강력한 성능유지를 하였으며, 직접 모방 베이스라인은 실세계 역학에 민감하여 성능이 열 劣하였다.
• 절단 실험 결과, 높은 성능를 달성하기 위해 인식(키포인트 모델) 및 최적화(웜스타트를 포함한 BO) 모듈이 모두 필수적임을 확인하였다.

Figure 2 : Overview of the proposed approach. Our method is composed of two modules: the unsupervised visual representation module and the parameter optimization module. The unsupervised module learns a model for keypoint correspondences between the motions of the objects in the human demonstration