[논문 리뷰] EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance

Yanlong Huang|arXiv (Cornell University)|2021. 02. 28.

Robot Manipulation and Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 확장된 커널 기반 이동 원소(Extended Kernelized Movement Primitives, EKMP)를 제안하며, 이는 로봇이 시연를 통해 학습하면서도 새로운 목표로 적응하고 링크 수준의 충돌 감지를 통해 장애물을 회피하며 선형 및 비선형 경직된 제약 조건을 엄격히 충족시키는 일반화된 암시 학습 프레임워크를 제공한다. 이는 7-DoF 로봇 암에서 빠른 수렴과 제약 조건 준수를 효과적으로 입증하였다.

ABSTRACT

As a user-friendly and straightforward solution for robot trajectory generation, imitation learning has been viewed as a vital direction in the context of robot skill learning. In contrast to unconstrained imitation learning which ignores possible internal and external constraints arising from environments and robot kinematics/dynamics, recent works on constrained imitation learning allow for transferring human skills to unstructured scenarios, further enlarging the application domain of imitation learning. While various constraints have been studied, e.g., joint limits, obstacle avoidance and plane constraints, the problem of nonlinear hard constraints has not been well-addressed. In this paper, we propose extended kernelized movement primitives (EKMP) to cope with most of the key problems in imitation learning, including nonlinear hard constraints. Specifically, EKMP is capable of learning the probabilistic features of multiple demonstrations, adapting the learned skills towards arbitrary desired points in terms of joint position and velocity, avoiding obstacles at the level of robot links, as well as satisfying arbitrary linear and nonlinear, equality and inequality hard constraints. Besides, the connections between EKMP and state-of-the-art motion planning approaches are discussed. Several evaluations including the planning of joint trajectories for a 7-DoF robotic arm are provided to verify the effectiveness of our framework.

연구 동기 및 목표

• 비선형 경직된 제약 조건, 장애물 회피, 관절 속도 일致성에 대한 약점이 있는 제약 조건이 있는 암시 학습의 격차를 메우기 위해.
• 커널 기반 이동 원소(KMP)를 임의의 목표 관절 위치 및 속도로의 적응을 지원하도록 확장하기 위해.
• 로봇 링크 수준에서가 아니라 끝단 효과기 위치가 아닌 장애물 회피를 구현하기 위해.
• 경로 최적화 중에 임의의 선형 및 비선형 등식 및 부등식 제약 조건을 충족시키기 위해.
• 최소한의 인간 간섭으로 빠르고 제약 조건을 준수하는 경로 계획을 가능하게 하기 위해.

제안 방법

• EKMP는 관절 위치 및 속도의 확률적 특징을 추출하기 위해 다중 정규분포 모델(Gaussian Mixture Model, GMM)을 사용하여 다수의 시범을 모델링한다.
• GMM의 파rameter에서 기반 경로를 도출하기 위해 다중 정규분포 회귀(Gaussian Mixture Regression, GMR)를 활용한다.
• 암시 학습, 장애물 회피, 경직된 제약 조건 페널티를 조합한 비용 함수를 사용하여 제약 최적화 프레임워크를 설정한다.
• 최적화에서 위치와 속도 간 도함수 관계를 커널 기반 정규화 항을 통해 강제한다.
• 비선형 제약 조건은 페널티 기반 설정과 장벽 함수를 통해 처리되며, 등식 및 부등식 제약 조건 모두를 통합할 수 있다.
• 계산 부담을 줄이기 위해 제약 조건을 선택된 핵심 지점에서 강제하는 순차적 순차 제곱 프로그래밍(Sequential Quadratic Programming, SQP)을 사용하여 최적화를 반복적으로 해결한다.

실험 결과

연구 질문

• RQ1 일반화된 암시 학습 프레임워크는 비선형 경직된 제약 조건을 유지하면서 경로의 매끄러움과 속도 일치성을 동시에 처리할 수 있는가?
• RQ2 추가 시범 없이 EKMP는 학습된 스킬을 새로운 목표 상태로 얼마나 효과적으로 적응시킬 수 있는가?
• RQ3 EKMP는 장애물 회피 및 제약 조건 준수에서 기존 KMP보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 카르테시안 공간 제약 조건(예: 끝단 효과기 높이 제한)의 통합은 충돌 없는 관절 경로 계획을 가속화할 수 있는가?
• RQ5 로봇의 실제 제약 조건, 예를 들어 관절 한계 및 링크 수준 충돌을 고려할 때 이 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• EKMP는 경로 최적화에서 빠른 수렴을 달성하였으며, 7-DoF 로봇 암에서 10회 이내에 장애물 회피 비용이 급격히 감소함을 입증하였다.
• 목표 지점 제약 조건과 끝단 효과기 높이 제약 조건(z ≥ 0.4 m)이 모두 적용된 상황에서 EKMP는 9회 반복 후 모든 제약 조건을 충족하였으며, 긴 200점 경로에서도 마찬가지였다.
• 단지 3회 반복만으로도 EKMP는 목표 지점 제약 조건만 존재하는 상황에서 장애물 회피를 달성하였고, 끝단 효과기 높이 제약 조건이 추가된 경우 1회 반복만으로도 성공하였다.
• 경로 플롯을 통해 최적화 전반에 걸쳐 관절 위치와 속도 간 도함수 관계가 엄격히 유지됨을 확인하였다.
• 기존 KMP는 장애물을 회피하지 못했지만, EKMP가 생성한 경로는 모든 평가 시나리오에서 충돌을 성공적으로 피함을 입증하였다.
• 카르테시안 제약 조건의 통합은 수렴을 크게 가속화하였으며, 이는 고수준 제약 조건이 효율적인 관절 경로 계획을 이끄는 데 기여할 수 있음을 시사한다.