[논문 리뷰] A Probabilistic Representation for Dynamic Movement Primitives

Franziska Meier, Stefan Schaal|arXiv (Cornell University)|2016. 12. 18.

Robot Manipulation and Learning참고 문헌 15인용 수 19

한 줄 요약

이 논문은 제어 입력을 갖는 선형 동적 시스템으로서 동적 운동 원리(DMPs)의 확률적 공식을 제안하여 칼만 필터링과 스무딩을 통한 온라인 추론을 가능하게 한다. 이 방법은 불확실성 기반의 이득을 통해 센서 피드백을 자연스럽게 통합하여 실시간 궤도 조정과 가능도 모니터링을 통한 장애 감지 기능을 제공하며, 평가 결과 220개의 테스트 케이스 데이터셋에서 100%의 장애 감지 정확도를 확보하였다.

ABSTRACT

Dynamic Movement Primitives have successfully been used to realize imitation learning, trial-and-error learning, reinforce- ment learning, movement recognition and segmentation and control. Because of this they have become a popular represen- tation for motor primitives. In this work, we showcase how DMPs can be reformulated as a probabilistic linear dynamical system with control inputs. Through this probabilistic repre- sentation of DMPs, algorithms such as Kalman filtering and smoothing are directly applicable to perform inference on pro- prioceptive sensor measurements during execution. We show that inference in this probabilistic model automatically leads to a feedback term to online modulate the execution of a DMP. Furthermore, we show how inference allows us to measure the likelihood that we are successfully executing a given motion primitive. In this context, we show initial results of using the probabilistic model to detect execution failures on a simulated movement primitive dataset.

연구 동기 및 목표

• 불확실성 전파와 온라인 추론을 지원하는 DMP의 확률적 표현을 개발하는 것.
• 센서 측정치와 칼만 필터링을 이용한 온라인 피드백 조정을 가능하게 하는 것.
• 학습된 DMP 모델 하에서 관측된 센서 데이터의 가능도를 모니터링하여 실행 장애를 원칙적으로 감지하는 방법을 제공하는 것.
• 기대 센서 궤적을 운동 원리와 연관지켜 DMP에 감각 기억을 통합하는 것.
• 확률적 DMP 프레임워크가 강건한 운동 실행과 장애 감지에 어떻게 유용한지를 보여주는 것.

제안 방법

• 강제항의 단계별 변동성을 갖는 확률적 선형 동적 시스템으로 DMP를 재구성한다.
• 위치, 속도, 가속도를 은닉 상태로 하고, 강제항을 단계에 따라 확률적 함수로 모델링하는 상태공간 표현을 사용하여 DMP 동역학을 기술한다.
• 노이즈가 있는 센서 관측치를 바탕으로 가장 가능성이 높은 궤도를 추론하기 위해 칼만 필터링과 스무딩을 적용하며, 이 과정에서 자동으로 피드백 항목이 생성된다.
• 칼만 이득 행렬을 사용하여 불확실성에 기반해 피드백을 스케일링함으로써 목표 궤도의 적응적 조정을 보장한다.
• 학습된 단계별 공분산을 갖는 기저 함수의 가중 조합을 통해 DMP의 비선형성을 표현한다.
• 관측된 센서 데이터의 로그 가능도를 계산하여 장애 감지를 수행하며, 가능도가 최소 훈련 가능도의 두 배 이하로 떨어지면 장애로 분류한다.

실험 결과

연구 질문

• RQ1 DMP를 확률적 선형 동적 시스템으로 재구성하여 불확실성 인식 추론을 가능하게 할 수 있는가?
• RQ2 칼만 필터링을 어떻게 활용하여 DMP에서 사전적 결합 항목 없이 온라인 피드백 조정을 가능하게 할 수 있는가?
• RQ3 확률적 DMP 모델 하에서 관측된 센서 데이터의 가능도를 사용하여 실행 장애를 감지할 수 있는가?
• RQ4 확률적 DMP 프레임워크는 전통적 DMP와 비교해 외란과 이탈을 다루는 데 어떻게 더 낫게 작용하는가?
• RQ5 가능도 기반 모니터링을 통해 인위적 실행 차단을 높은 정확도로 감지할 수 있는가?

주요 결과

• 확률적 DMP 공식은 칼만 필터링을 통한 온라인 궤도 조정을 가능하게 하며, 피드백이 불확실성에 따라 자연스럽게 스케일링된다.
• 확률적 DMP의 피드백 항목은 칼만 이노베이션에서 유도되며, 작업별 이득 튜닝이 필요 없어진다.
• 가능도 모니터링을 통한 장애 감지 결과, 220개의 교란된 테스트 케이스 모두를 장애로 정확히 식별하였고, 비교적 교란되지 않은 실행에서 오직 2건의 오진이 발생하였다.
• 훈련 시뮬레이션의 최소 로그 가능도를 기준선으로 사용하였으며, 이 값의 두 배 이하로 떨어지면 장애로 분류하였다.
• 2차원 문자 작성 데이터셋에서 22개의 운동 원리와 원리당 10회의 시범 실행을 포함한 220개의 테스트 케이스에서 인위적 블로킹을 100%의 정확도로 감지하였다.
• 확률 모델은 원래 DMP의 동역학을 유지하면서도 원칙적인 불확실성 처리와 감각 피드백 통합을 통해 강건성을 향상시킨다.