[论文解读] Comparing Semi-Parametric Model Learning Algorithms for Dynamic Model Estimation in Robotics

Sebastian Riedel, Freek Stulp|arXiv (Cornell University)|Jun 27, 2019

Gaussian Processes and Bayesian Inference参考文献 26被引用 5

一句话总结

本文评估了半参数模型学习方法——特别是联合半参数高斯过程回归与一种新型联合半参数贝叶斯神经网络——在机器人逆动力学建模中相对于参数化、非参数化及顺序半参数基线方法的性能。结果表明，联合半参数高斯过程回归在极少超参数调优的情况下始终表现出最高精度，且在三个真实与仿真机器人场景中均优于基于神经网络的方法和顺序方法。

ABSTRACT

Physical modeling of robotic system behavior is the foundation for controlling many robotic mechanisms to a satisfactory degree. Mechanisms are also typically designed in a way that good model accuracy can be achieved with relatively simple models and model identification strategies. If the modeling accuracy using physically based models is not enough or too complex, model-free methods based on machine learning techniques can help. Of particular interest to us was therefore the question to what degree semi-parametric modeling techniques, meaning combinations of physical models with machine learning, increase the modeling accuracy of inverse dynamics models which are typically used in robot control. To this end, we evaluated semi-parametric Gaussian process regression and a novel model-based neural network architecture, and compared their modeling accuracy to a series of naive semi-parametric, parametric-only and non-parametric-only regression methods. The comparison has been carried out on three test scenarios, one involving a real test-bed and two involving simulated scenarios, with the most complex scenario targeting the modeling a simulated robot's inverse dynamics model. We found that in all but one case, semi-parametric Gaussian process regression yields the most accurate models, also with little tuning required for the training procedure.

研究动机与目标

• 评估联合半参数建模方法在提升机器人系统逆动力学模型精度方面的有效性。
• 将半参数高斯过程回归与仅参数化、仅非参数化以及顺序半参数方法的性能进行比较。
• 探究联合优化参数化与非参数化组件是否能比顺序方法带来更好的泛化能力与不确定性量化效果。
• 提供开源数据集与参数化模型，以支持半参数学习在机器人领域中的可复现性与进一步研究。

提出的方法

• 将半参数模型学习形式化为已知参数化模型 $ h_{\theta_m}(x) $ 与非参数残差模型 $ g_{\theta_{np}}(x) $ 的组合，其中 $ f(x) \approx h_{\theta_m}(x) + g_{\theta_{np}}(x) $。
• 采用联合半参数高斯过程回归（LLS-GP），通过基于梯度的优化方法同时优化参数化与非参数化模型的参数。
• 提出一种新型联合半参数贝叶斯神经网络（BaMbANN），将参数化模型与神经网络结合，以端到端方式学习残差。
• 实现顺序半参数基线方法，包括 LLS-SVR 与 LLS-GP，其中先通过最小二乘法或支持向量回归估计参数化模型参数，再通过高斯过程进行残差学习。
• 使用负对数似然（NLLH）与均方根误差（RMSE）作为预测精度与不确定性量化的评估指标。
• 将所有方法应用于三个测试场景：一个真实机器人（可变阻抗执行器），以及两个仿真机器人系统，包括一个复杂的逆动力学模型。

实验结果

研究问题

• RQ1 与顺序半参数方法及纯参数化或非参数化方法相比，联合半参数建模是否显著提升了逆动力学模型的精度？
• RQ2 在精度与不确定性估计方面，联合半参数贝叶斯神经网络与联合半参数高斯过程回归相比表现如何？
• RQ3 在内插与外推设置下，联合优化与顺序优化参数化与非参数化组件对泛化能力有何影响？
• RQ4 在真实机器人场景中，不同半参数方法对模型失配与数据异常值的鲁棒性如何，尤其是面对现实世界挑战时？

主要发现

• 在除一个测试场景外的所有场景中，联合半参数高斯过程回归均实现了最低的 RMSE，表明其在内插与外推设置下均具有更优的预测精度。
• 联合半参数贝叶斯神经网络（BaMbANN）的精度与顺序基线方法相当，但从未达到半参数高斯过程回归的性能水平。
• BaMbANN 方法在独立训练运行中表现出显著更高的模型精度变异性，表明其训练稳定性低于其他方法。
• 半参数高斯过程回归在所有场景中均提供了鲁棒的不确定性估计，表现为最低的负对数似然（NLLH）。
• 顺序半参数方法（如 LLS-SVR 与 LLS-GP）在精度上优于纯参数化或非参数化模型，但仍被联合方法所超越。
• 作者发布了所有训练与测试数据，以及参数化模型，以支持半参数学习在机器人领域中的可复现性与未来研究。