[논문 리뷰] Do What I Want, Not What I Did: Imitation of Skills by Planning Sequences of Actions

Chris Paxton, Felix Jonathan외 2명|arXiv (Cornell University)|2016. 12. 05.

Robot Manipulation and Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 전문가의 시범을 통해 고수준 동작을 학습하고 샘플링 기반 계획법을 사용하여 새로운 환경에서 강력하고 유연한 동작 시 послед을 생성하는 작업 및 운동 계획 프레임워크를 제안한다. 동작을 운동 특성에 대한 확률적 분포로 모델링하고 기호적 작업 계획과 통합함으로써, 시뮬레이션 및 실제 UR5 로봇을 이용한 실험에서 정확하고 장애물 인식이 가능한 조립을 달성한다.

ABSTRACT

We propose a learning-from-demonstration approach for grounding actions from expert data and an algorithm for using these actions to perform a task in new environments. Our approach is based on an application of sampling-based motion planning to search through the tree of discrete, high-level actions constructed from a symbolic representation of a task. Recursive sampling-based planning is used to explore the space of possible continuous-space instantiations of these actions. We demonstrate the utility of our approach with a magnetic structure assembly task, showing that the robot can intelligently select a sequence of actions in different parts of the workspace and in the presence of obstacles. This approach can better adapt to new environments by selecting the correct high-level actions for the particular environment while taking human preferences into account.

연구 동기 및 목표

• 장애물이 있고 물체 구성이 다양한 새로운 환경으로 시범 학습된 스킬을 일반화할 수 있도록 로봇을 가능하게 하기.
• 고수준 동작을 학습된 운동 분포에 기반하여 기호적 작업 계획과 연계함으로써 기호적 작업 계획과 연속 운동 계획을 연결하기.
• 인간의 선호도와 실시간 환경 제약 조건을 통합하여 계획의 신뢰성과 적응성을 향상시키기.
• 실제 자기장 구조 조립 작업을 UR5 로봇을 사용하여 본 논문의 접근 방식을 검증하기.

제안 방법

• 전문가 시범에서 학습된 운동 특성(예: 상대 위치/자세)에 대한 확률적 분포로 동작를 모델링한다.
• 환경 제약 조건을 준수하면서 기호적 동작의 연속 공간 해석을 탐색하는 재귀적 샘플링 기반 운동 계획법을 사용한다.
• 중요도 샘플링과 교차 엔트로피 방법을 사용하여 새로운 제약 조건(예: 장애물)을 충족시키면서도 이전 지식을 유지하도록 동작 분포를 재추정한다.
• 기호적 상태 간 전이 확률을 이산 분포로 모델링하여 계획 중 동작 선택을 안내한다.
• 학습된 동작 모델과 전이 모델을 조합한 제품 모델을 통해 다단계 작업 계획 및 다수의 유효한 해를 가능하게 한다.
• 새로운 환경 제약 조건을 충족시키면서도 시범 행동에서의 이탈을 최소화하는 동작 시퀀스를 선택한다.

실험 결과

연구 질문

• RQ1 로봇은 장애물이 있고 물체 자세가 다양한 새로운 환경으로 시범으로 학습된 동작을 어떻게 일반화할 수 있는가?
• RQ2 시범에서 학습된 확률적 동작 모델은 새로운 상황에서 신뢰성 있고 적응 가능한 작업 계획을 지원할 수 있는가?
• RQ3 미래 예측과 동작 옵션 통합이 계획 품질과 성공률을 어떻게 향상시키는가?
• RQ4 인간의 선호도와 환경 제약 조건을 얼마나 잘 학습된 동작 모델에 통합하여 계획을 안내할 수 있는가?

주요 결과

• 옵션과 미래 예측을 포함한 전체 알고리즘은 시뮬레이션에서 배치 오차가 1cm 미만이었으며, 높은 정확도를 입증했다.
• 장애물이 없는 환경에서는 전체 알고리즘이 100% 성공률을 기록했으며, 전문가 데이터로 학습했을 때는 0건의 실패, 로봇 생성 데이터로 보강했을 때는 0건의 실패를 기록했다.
• 미래 예측이나 옵션 없이 사용할 경우 성공률가 크게 떨어졌으며, 전문가 데이터만 사용했을 때는 7건의 실패, 추가로 로봇 생성 데이터를 사용했을 때는 3건의 실패가 발생했다.
• 실제 실험에서 새로운 구성에 적응하여, 정렬 상태와 장애물 유무에 따라 링크 또는 노드를 올바르게 잡는 것을 성공적으로 수행했다.
• 추가 시범 데이터로 성능이 향상되었으며, 기준선 대비 전체 알고리즘이 더 민첩하고 신뢰할 수 있었다.
• 장애물을 피하기 위해 가르친 동작 선호도와 일치하는 타당한 경로를 선택함으로써 장애물을 회피했다.