[논문 리뷰] Learning Contracting Vector Fields For Stable Imitation Learning

Vikas Sindhwani, Stephen Tu외 1명|arXiv (Cornell University)|2018. 04. 13.

Robot Manipulation and Learning참고 문헌 21인용 수 15

한 줄 요약

이 논문은 비모수적 프레임워크인 수축 벡터장(Contracting Vector Fields, CVF)을 제안한다. 이는 벡터형 재생 커널 힐버트 공간(RKHS)에서 볼록 최적화를 통해 증가 안정성(incremental stability)을 강제하여, 시연된 궤적에서 안정적이고 매끄러운 동역학 시스템을 학습한다. 이 방법은 행렬형 커널을 사용하여 목표 평형점에서 정확히 0이 되도록 하며, 국소 수축성과 곡률을 제어하여 수동 학습 임의의 곡선 그리기 운동 등에서 DMPs, SEDS, CLFDM보다 뛰어난 궤적 정확도와 안정성, 다양한 초기 조건에서의 강인성을 달성한다.

ABSTRACT

We propose a new non-parametric framework for learning incrementally stable dynamical systems x' = f(x) from a set of sampled trajectories. We construct a rich family of smooth vector fields induced by certain classes of matrix-valued kernels, whose equilibria are placed exactly at a desired set of locations and whose local contraction and curvature properties at various points can be explicitly controlled using convex optimization. With curl-free kernels, our framework may also be viewed as a mechanism to learn potential fields and gradient flows. We develop large-scale techniques using randomized kernel approximations in this context. We demonstrate our approach, called contracting vector fields (CVF), on imitation learning tasks involving complex point-to-point human handwriting motions.

연구 동기 및 목표

• 제한된 시연 궤적에서 안정적이고 일반화 가능한 동역학 시스템 학습 프레임워크를 개발한다.
• 벡터장의 자코비안을 음의 정부호로 제약하여 증가 안정성을 확보함으로써 다양한 초기 조건에서 수렴 가능성을 보장한다.
• 목표 평형점에서 정확히 0이 되는 매끄러운 벡터장을 구성하기 위해 행렬형 커널을 사용하여 풍부한 가중치 가중치 가중치를 생성한다.
• 스케일러블 학습을 위해 무작위 커널 근사화를 활용하면서도 안정성과 수렴 보장을 유지한다.
• DMPs, SEDS, CLFDM와 같은 기존 방법보다 궤적 정확도, 안정성, 외란에 대한 강인성에서 뛰어난 성능을 발휘한다.

제안 방법

• 벡터형 RKHS에서 정규화된 최적화 문제를 설정하여 궤적 오차를 최소화하면서도 벡터장의 자코비안에 수축 제약 조건을 도입한다.
• 행렬형 커널을 사용하여 볼록 최적화를 통해 국소 수축성과 곡률을 명시적으로 제어할 수 있는 매끄러운 벡터장을 생성한다.
• 특정 평형점에서 벡터장이 정확히 0이 되도록 하기 위해, 해당 점에서 0이 되는 RKHS 함수의 부분공간에 투영함으로써 보장한다.
• 스케일링을 위해 커널 근사화를 활용하며, 커어프리 및 가우시안 분리형 커널을 사용하여 계산 비용을 감소시키면서도 안정성을 유지한다.
• 최적화는 SCS 솔버를 사용하여 원-이중 내부점법을 적용하여 이중성 갭(duality gap) 10^-6에서 10^-4 수준으로 수렴한다.
• 커어프리 커널을 사용할 경우, 결과 벡터장은 학습된 포텐셜 장의 기울기 흐름으로 해석될 수 있으며, 에너지 기반 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 소수의 시연 궤적에서 안정적이고 매끄러운 동역학 시스템을 학습할 수 있는 비모수적 프레임워크는 다양한 초기 조건에서 수렴 보장이 가능한가?
• RQ2 볼록 최적화를 통해 벡터장의 국소 수축성과 곡률 특성을 명시적으로 제어할 수 있는가?
• RQ3 무작위 커널 근사화는 고차원 수동 학습 과제에서 안정성과 성능을 얼마나 잘 유지할 수 있는가?
• RQ4 DMPs, SEDS, CLFDM와 같은 기존 방법과 비교해 본다면, 다양한 운동 패턴에서 안정성과 정확도 측면에서 본 방법은 어떠한가?
• RQ5 이 프레임워크는 로봇 시스템의 인식 모듈과 통합하거나 동적 장애물 회피를 지원하도록 확장 가능할까?

주요 결과

• S-형 데이터셋에서 CVF-CF는 테스트 궤적 오차 5.82와 DTWD 17767.83을 기록했으며, 64개의 초기 조건에서 DMPs와 SEDS보다 뛰어난 안정성을 확보했다.
• G-형 데이터셋에서 CVF-GS는 테스트 궤적 오차 4.10과 DTWD 10009.24를 기록했으며, 격자형 초기 조건 100%가 목표에 도달했다.
• CVF 방법은 뛰어난 강인성을 보였으며, 모든 데이터셋에서 64개의 초기 조건 중 단 한 번의 실패만 기록했고, SEDS와 CLFDM보다는 훨씬 낮은 실패율을 보였다.
• CVF의 학습 시간은 다른 방법보다 略로 높았지만 실용적이었으며, SCS 솔버는 200개의 특징에 대해 25초 이내에 수렴을 달성했다.
• 이 방법은 특징 수에 따라 선형으로 확장되며 차원 수에 따라 초선형으로 확장됨을 확인하여 고차원 시스템에 대한 타당성을 입증했다.
• 모든 네 개의 데이터셋에서 CVF는 평균 DTWD가 가장 낮아, 외부 자극에 대한 일반화 능력과 안정성에서 뛰어난 성능을 보였다.