[논문 리뷰] Comparing Semi-Parametric Model Learning Algorithms for Dynamic Model Estimation in Robotics

Sebastian Riedel, Freek Stulp|arXiv (Cornell University)|2019. 06. 27.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 5

한 줄 요약

이 논문은 로봇 공학 분야의 역역학 모델링을 위한 반모수적 모델 학습 접근법—특히 공동 반모수적 가우시안 프로세스 회귀와 새로운 공동 반모수적 베이지안 신경망—을 모수적, 비모수적, 순차적 반모수적 기준선과 비교하여 평가한다. 결과적으로 공동 반모수적 가우시안 프로세스 회귀는 초모수 조정이 최소화된 상태에서 일관되게 가장 높은 정확도를 기록했으며, 세 가지 실제 및 시뮬레이션 로봇 시나리오에서 신경망 기반 및 순차적 접근법을 모두 능가했다.

ABSTRACT

Physical modeling of robotic system behavior is the foundation for controlling many robotic mechanisms to a satisfactory degree. Mechanisms are also typically designed in a way that good model accuracy can be achieved with relatively simple models and model identification strategies. If the modeling accuracy using physically based models is not enough or too complex, model-free methods based on machine learning techniques can help. Of particular interest to us was therefore the question to what degree semi-parametric modeling techniques, meaning combinations of physical models with machine learning, increase the modeling accuracy of inverse dynamics models which are typically used in robot control. To this end, we evaluated semi-parametric Gaussian process regression and a novel model-based neural network architecture, and compared their modeling accuracy to a series of naive semi-parametric, parametric-only and non-parametric-only regression methods. The comparison has been carried out on three test scenarios, one involving a real test-bed and two involving simulated scenarios, with the most complex scenario targeting the modeling a simulated robot's inverse dynamics model. We found that in all but one case, semi-parametric Gaussian process regression yields the most accurate models, also with little tuning required for the training procedure.

연구 동기 및 목표

• 로봇 시스템을 위한 역역학 모델 정확도 향상에 공동 반모수적 모델링 접근법의 효과를 평가하는 것.
• 모수적 단독, 비모수적 단독, 순차적 반모수적 방법과의 비교를 통해 반모수적 가우시안 프로세스 회귀의 성능을 평가하는 것.
• 모수적 및 비모수적 구성요소를 동시에 최적화하는 것이 순차적 접근법에 비해 더 나은 일반화 및 불확실성 정량화를 이끌어내는지 조사하는 것.
• 재현 가능성과 반모수적 학습에 대한 향후 연구를 지원하기 위해 오픈소스 데이터셋과 모수적 모델을 제공하는 것.

제안 방법

• 알려진 모수적 모델 $ h_{\theta_m}(x) $ 와 비모수적 잔차 모델 $ g_{\theta_{np}}(x) $ 의 조합으로 반모수적 모델 학습을 수식화하며, 여기서 $ f(x) \approx h_{\theta_m}(x) + g_{\theta_{np}}(x) $ 이다.
• 모수적 및 비모수적 매개변수를 동시에 기울기 기반 최적화를 통해 최적화하는 공동 반모수적 가우시안 프로세스 회귀(Low-Level Semi-parametric Gaussian Process, LLS-GP)를 적용한다.
• 모수적 모델과 신경망을 통합하여 잔차를 종단 간(end-to-end)으로 학습하는 새로운 공동 반모수적 베이지안 신경망(BaMbANN)을 제안한다.
• 순차적 반모수적 기준선을 구현하며, 이는 모수적 모델 매개변수를 최소 제곱법 또는 서포트 벡터 회귀를 통해 먼저 추정한 후, 비모수적 잔차를 가우시안 프로세스를 통해 학습하는 방식이다.
• 예측 정확도 및 불확실성 정량화 평가 지표로 음의 로그우도(Negative Log-Likelihood, NLLH)와 평균 제곱근 오차(Root Mean Square Error, RMSE)를 사용한다.
• 모든 방법을 세 가지 테스트 시나리오에 적용: 하나의 실제 로봇(변동형 인력 액추에이터), 그리고 복잡한 역역학 모델을 포함한 두 개의 시뮬레이션된 로봇 시스템.

실험 결과

연구 질문

• RQ1 공동 반모수적 모델링이 순차적 반모수적 및 순수 모수적 또는 비모수적 방법에 비해 역역학 모델 정확도를 유의미하게 향상시키는가?
• RQ2 공동 반모수적 베이지안 신경망의 성능이 공동 반모수적 가우시안 프로세스 회귀에 비해 정확도 및 불확실성 추정 측면에서 어떻게 다른가?
• RQ3 모수적 및 비모수적 구성요소의 공동 최적화와 순차적 최적화가 외삽 및 내삽 설정에서 일반화에 미치는 영향은 무엇인가?
• RQ4 특히 실제 로봇 시나리오에서 모델 불일치 및 데이터 이상치에 대해 다양한 반모수적 접근법은 얼마나 강건한가?

주요 결과

• 모든 테스트 시나리오 중 유일하게 하나를 제외한 나머지에서는 공동 반모수적 가우시안 프로세스 회귀가 가장 낮은 RMSE를 기록하여 내삽 및 외삽 설정 모두에서 뛰어난 예측 정확도를 입증했다.
• 공동 반모수적 베이지안 신경망(BaMbANN)은 순차 기준선 수준의 정확도를 달성했지만, 반모수적 가우시안 프로세스 회귀의 성능을 결코 따라잡지 못했다.
• BaMbANN 접근법은 독립적인 학습 실행 간에 정확도의 변동성이 뚜렷이 높아 다른 방법들에 비해 학습 안정성이 떨어지는 것으로 나타났다.
• 반모수적 가우시안 프로세스 회귀는 모든 시나리오에서 가장 낮은 음의 로그우도(NLLH)를 기록하여 강건한 불확실성 추정을 제공했다.
• LLS-SVR 및 LLS-GP와 같은 순차 반모수적 방법들은 순수 모수적 또는 비모수적 모델보다 정확도가 향상되었지만, 공동 최적화 방법에 비해 뒤처졌다.
• 저자들은 재현 가능성을 높이고 반모수적 학습에 대한 향후 연구를 지원하기 위해 모든 학습 및 테스트 데이터와 모수적 모델을 공개했다.