[논문 리뷰] Riemannian Motion Policy Fusion through Learnable Lyapunov Function Reshaping

Mustafa Mukadam, Ching-An Cheng외 3명|arXiv (Cornell University)|2019. 10. 07.

Robot Manipulation and Learning참고 문헌 29인용 수 10

한 줄 요약

이 논문은 RMPflow의 학습 가능한 확장인 RMPfusion을 제안하며, 하위 작업 리만 운동 정책(RMPs)의 리아프노프 함수를 재구성하기 위해 계층적이고 학습 가능한 가중치 함수를 도입함으로써 정책 융합을 향상시킨다. 적응형이고 구성에 따라 달라지는 정책 혼합을 가능하게 함으로써, 부분 작업 정책의 불완전함에 대한 강건성을 향상시키고, 전역 리아프노프 안정성을 보장함으로써, 모의 학습 환경에서 역전파를 통한 안전하고 안정적인 정책 학습을 가능하게 한다.

ABSTRACT

RMPflow is a recently proposed policy-fusion framework based on differential geometry. While RMPflow has demonstrated promising performance, it requires the user to provide sensible subtask policies as Riemannian motion policies (RMPs: a motion policy and an importance matrix function), which can be a difficult design problem in its own right. We propose RMPfusion, a variation of RMPflow, to address this issue. RMPfusion supplements RMPflow with weight functions that can hierarchically reshape the Lyapunov functions of the subtask RMPs according to the current configuration of the robot and environment. This extra flexibility can remedy imperfect subtask RMPs provided by the user, improving the combined policy's performance. These weight functions can be learned by back-propagation. Moreover, we prove that, under mild restrictions on the weight functions, RMPfusion always yields a globally Lyapunov-stable motion policy. This implies that we can treat RMPfusion as a structured policy class in policy optimization that is guaranteed to generate stable policies, even during the immature phase of learning. We demonstrate these properties of RMPfusion in imitation learning experiments both in simulation and on a real-world robot.

연구 동기 및 목표

• RMPflow에서 고급 품질의 수동 설계된 하위 작업 리만 운동 정책(RMPs)이 요구되는 문제에 대응하기 위해, 실용적 사용성을 제한하는 요소를 해결한다.
• 학습 가능한 가중치 함수를 통해 하위 작업 정책 중요도의 동적이고 구성에 따라 달라지는 적응을 가능하게 하여 정책 융합의 강건성을 향상시킨다.
• 가중치 함수에 대한 온건한 제약 조건 하에서도, 초기 학습 단계 동안에도 융합 정책의 전역 리아프노프 안정성을 보장한다.
• 안정적인 정책 클래스로 RMPfusion을 간주함으로써, 안전 보장을 갖춘 구조적 정책 학습을 가능하게 하며, 모의 학습 및 강화 학습에 적합하다.
• 모의 및 실제 로봇 환경에서 방법의 유효성을 검증하여 안정적이고 높은 성능의 정책 모의 학습을 입증한다.

제안 방법

• RMPfusion은 로봇 구성과 환경 상태에 따라 개별 하위 작업 RMP의 리아프노프 함수를 계층적으로 재구성하는 곱셈형 가중치 함수를 도입한다.
• 이 가중치 함수들은 학습 가능한 함수(예: 신경망)로 모델링되며, 정책 학습 중 역전파를 통해 최적화된다.
• 융합 정책는 각 하위 작업의 리아프노프 함수의 가중치 기반 기여도를 통합하여 유도되며, 가중치는 각 하위 작업의 효과적 중요도를 조절한다.
• 이 방법은 가중치 함수가 음이 아닌 값이면서 탈선하지 않는 한, RMPfusion이 전역 리아프노프 안정성을 유지함을 증명한다. 이는 RMPflow의 안정성 보장을 유지한다.
• 행동 클로닝을 통해 엔드 투 엔드 훈련을 지원하며, 전문가의 시연를 활용하여 가중치 함수의 학습을 감독한다.
• 하위 작업과 가중치 함수를 조직화하기 위해 RMP-tree* 구조를 사용하여 모듈식이고 해석 가능한 정책 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 가중치 함수는 하위 작업 정책이 불완전하거나 최적화되지 않은 경우 RMPflow의 강건성을 향상시킬 수 있는가?
• RQ2 가중치 함수에 대한 온건한 제약 조건 하에서도, 초기 학습 단계 동안 RMPfusion이 전역 리아프노프 안정성을 유지하는가?
• RQ3 RMPfusion은 모의 학습을 통해 전문가 성능을 효과적으로 재현하면서도 안전성과 안정성을 보장할 수 있는가?
• RQ4 가중치 함수를 통한 리아프노프 함수의 계층적 재구성 방식은 선형 조합 방법에 비해 정책 성능과 안정성 측면에서 어떻게 비교되는가?
• RQ5 구성에 따라 달라지는 가중치 메커니즘을 고려할 때, RMPfusion은 재학습 없이도 새로운 환경과 작업에 일반화할 수 있는가?

주요 결과

• RMPfusion은 시뮬레이션과 실제 프랭카 로봇에서 전문가 행동을 성공적으로 모방하여 모든 지표에서 전문가 수준에 가까운 성능을 달성했다.
• 학습자 거리 오차는 1200 반복 이후에 크게 감소하였으며, 실행 10초 내에 전문가 성능에 수렴하였고, 실행 중에 충돌이 발생하지 않았다.
• 초기화 상태(학습자-0)에서도 정책은 안정을 유지하였으며, 리아프노프 함수가 단조 감소함을 확인하여, 초기 학습 단계 동안의 안정성을 입증했다.
• 시험 트랙토리 전반에서 안정된 성능을 달성하였고, 타임아웃이나 안전 위반 사고가 발생하지 않아 환경 변화에 대한 강건성을 입증했다.
• 신경망 기반의 가중치 함수를 사용함으로써 정책이 로봇 구성과 장애물 배치에 따라 동적으로 적응하여 일반화 능력을 향상시켰다.
• 이론적 안정성 보장이 실질적으로도 유지되었으며, 훈련 및 실행 전반에 걸쳐 리아프노프 함수가 단조 감소하는 것으로 확인되었다.