[논문 리뷰] Learning from Sparse Demonstrations

Wanxin Jin, Todd D. Murphey외 3명|arXiv (Cornell University)|2020. 08. 05.

Robotic Mechanisms and Dynamics참고 문헌 43인용 수 5

한 줄 요약

이 논문은 희소 핵심 프레임(demonstrations)에서 목적 함수와 시간 왜곡 함수를 학습함으로써 모델링되지 않은 환경에서 로봇의 운동 계획 일반화를 가능하게 하는 연속 펜트리아그린 미분 가능 프로그래밍(Continuous PDP)을 소개한다. 궁극적으로, 분석적 기울기를 사용하는 투영된 경사 하강법을 통해 궤적 충실도와 시간 오차를 동시에 최적화함으로써, 최소한의 시범 데이터로도 높은 성능을 달성하며, 실험적으로 7-DoF 로봇 팔과 6-DoF 큐드로터에서 검증되었다.

ABSTRACT

This paper develops the method of Continuous Pontryagin Differentiable Programming (Continuous PDP), which enables a robot to learn an objective function from a few sparsely demonstrated keyframes. The keyframes, labeled with some time stamps, are the desired task-space outputs, which a robot is expected to follow sequentially. The time stamps of the keyframes can be different from the time of the robot's actual execution. The method jointly finds an objective function and a time-warping function such that the robot's resulting trajectory sequentially follows the keyframes with minimal discrepancy loss. The Continuous PDP minimizes the discrepancy loss using projected gradient descent, by efficiently solving the gradient of the robot trajectory with respect to the unknown parameters. The method is first evaluated on a simulated robot arm and then applied to a 6-DoF quadrotor to learn an objective function for motion planning in unmodeled environments. The results show the efficiency of the method, its ability to handle time misalignment between keyframes and robot execution, and the generalization of objective learning into unseen motion conditions.

연구 동기 및 목표

• 완전한 궤적 대신 희소 핵심 프레임 기반의 시범으로부터 로봇 운동 정책을 학습하는 문제에 대응하기 위해.
• 역동적 제약 조건이나 속도 차이로 인해 핵심 프레임 타임스탬프와 실제 로봇 실행 시간 사이에 발생하는 시간 오차를 극복하기 위해.
• 학습된 목적 함수가 시범에 포함되지 않은 새로운 초기 조건과 운동 시나리오로 일반화될 수 있도록 하기 위해.
• 연속적인 운동 시퀀스 대신 몇 개의 핵심 프레임만 필요로 하여 역최적 제어의 데이터 복잡도를 줄이기 위해.
• 연속 시간, 고차원 시스템에서 목적 함수와 시간 왜곡 함수를 공동으로 학습할 수 있는 효율적이고 미분 가능한 프레임워크를 개발하기 위해.

제안 방법

• 로봇 궤적과 희소 핵심 프레임 시범 사이의 이질성 손실을 최소화하는 문제를 투영된 경사 하강법을 사용하여 설정한다.
• 핵심 프레임 타임스탬프와 실제 로봇 실행 시간 사이의 시간 오차를 고려하기 위해 시간 왜곡 함수를 도입한다.
• 최적 궤적에 대한 목적 함수 및 시간 왜곡 함수의 매개변수에 대한 분석적 기울기를 도출하기 위해 펜트리아그린의 최대 원리(Pontryagin's Maximum Principle)를 활용한다.
• 시간 왜곡 함수를 역학 모델에 통합하여 조정 가능한 매개변수로 간주하는, 미분 가능한 최적 제어 프레임워크를 사용한다.
• 물리적 타당성과 수렴성을 보장하면서도 목적 함수와 시간 왜곡 함수의 매개변수를 동시에 최적화하기 위해 투영된 경사 하강법을 적용한다.
• 함수의 부가 변수에 대한 두 지점 경계값 문제를 유도하고, 역전파를 통해 효율적으로 기울기를 계산하기 위해 행렬 리카티 유형 방정식을 사용한다.

실험 결과

연구 질문

• RQ1 몇 개의 희소 핵심 프레임 시범만으로도 로봇이 일반화 가능한 목적 함수를 학습할 수 있는가? 이때 완전한 궤적 데이터가 필요로 하지 않는다.
• RQ2 시범 타임스탬프와 실제 로봇 실행 간의 시간 오차를 학습 과정에서 효과적으로 모델링하고 보정할 수 있는가?
• RQ3 학습된 목적 함수가 시범에 포함되지 않은 새로운 초기 조건과 새로운 운동 조건으로 얼마나 잘 일반화되는가?
• RQ4 제안된 방법이 6-DoF 큐드로터와 같은 고차원 연속 시스템을 최소한의 데이터로 효율적으로 처리할 수 있는가?
• RQ5 목적 함수와 시간 왜곡 함수를 함께 최적화하는 것이 기존의 표준 역최적 제어 방법에 비해 더 높은 궤적 충실도와 강건성을 달성하는가?

주요 결과

• 연속 PDP 방법은 몇 개의 핵심 프레임 시범만으로도 목적 함수를 성공적으로 학습하여 시뮬레이션된 7-DoF 로봇 팔에서 높은 궤적 충실도를 달성했다.
• 이 방법은 시간 오차를 효과적으로 처리하여, 시범 속도와 로봇의 구현 가능한 속도가 다를 경우에도 원하는 운동을 재현할 수 있도록 했다.
• 6-DoF 큐드로터에서 훈련 중에 관측되지 않은 초기 조건으로의 일반화가 성공적으로 입증되었으며, 학습된 목적 함수는 훈련 중에 보이지 않은 유효한 궤적을 생성했다.
• 로봇 팔에서는 100회 이내, 큐드로터에서는 200회 이내에 수렴했으며, 핵심 프레임 추적에 대한 최종 이질성 손실이 0.01m 이하로 유지되었다.
• 펜트리아그린 원리에 기반한 분석적 기울기 계산 덕분에 효율적인 최적화가 가능해졌으며, 유한 차분 근사가 필요로 하지 않아 샘플 효율성이 향상되었다.
• 목적 함수와 시간 왜곡 함수의 공동 학습은 시간 정렬을 고정하는 기준 기반 방법에 비해 뚜렷이 뛰어난 성능을 보였으며, 특히 속도 불일치가 심한 상황에서 두각을 나타냈다.