[论文解读] Combining learned and analytical models for predicting action effects.

Alina Kloss, Stefan Schaal+1 more|arXiv (Cornell University)|Oct 11, 2017

Reinforcement Learning in Robotics参考文献 13被引用 55

一句话总结

本文提出了一种混合模型，将神经网络用于感官表征，结合基于物理的解析模型以预测平面推动物体的效果。通过使用学习到的感知方法将原始感官数据输入至解析动力学模型，该方法在准确性和泛化能力方面优于纯学习模型，同时在使用真实输入时性能与解析模型相当。

ABSTRACT

One of the most basic skills a robot should possess is predicting the effect of physical interactions with objects in the environment. This enables optimal action selection to reach a certain goal state. Traditionally, these dynamics are described by physics-based analytical models, which may however be very hard to find for complex problems. More recently, we have seen learning approaches that can predict the effect of more complex physical interactions directly from sensory input. However, it is an open question how far these models generalize beyond their training data. In this work, we analyse how analytical and learned models can be combined to leverage the best of both worlds. As physical interaction task, we use planar pushing, for which there exists a well-known analytical model and a large real-world dataset. We propose to use a neural network to convert the raw sensory data into a suitable representation that can be consumed by the analytical model and compare this approach to using neural networks for both, perception and prediction. Our results show that the combined method outperforms the purely learned version in terms of accuracy and generalization to push actions not seen during training. It also performs comparable to the analytical model applied on ground truth input values, despite using raw sensory data as input.

研究动机与目标

• 解决在复杂物理交互中，超越训练数据泛化动作效果预测的挑战。
• 结合数据驱动学习与基于物理的解析模型的优势，以提升鲁棒性和准确性。
• 探究学习到的感知是否能有效与基于解析的动力学模型结合，使用原始感官输入进行交互。
• 评估混合模型在训练数据中未出现的未见推力动作上的泛化性能。

提出的方法

• 训练一个神经网络，将原始感官输入（例如图像或观测值）映射为适合输入已知平面推动物理动力学模型的表征。
• 解析模型使用网络输出作为输入，以预测推力动作的结果，例如物体位移。
• 混合架构采用端到端训练，网络学习从原始数据中提取与解析模型假设一致的相关特征。
• 将该方法与纯学习模型进行对比，后者直接从原始输入映射到动作结果，不使用解析框架。
• 该方法利用了解析模型的可解释性和泛化能力，同时受益于深度学习的表征能力。
• 所用的解析模型基于公认的平面推动物理动力学，确保了性能对比的可靠基准。

实验结果

研究问题

• RQ1 学习到的感知头是否能有效与基于物理的解析模型结合，从而从原始感官数据中预测动作效果？
• RQ2 在未见的推力动作上，混合模型的泛化性能与纯学习模型相比如何？
• RQ3 当使用真实输入而非原始观测值时，混合模型在多大程度上能与解析模型的性能相匹配？
• RQ4 结合学习与分析是否能提升物理交互预测的准确性和鲁棒性？

主要发现

• 在未见推力动作的预测准确度方面，混合模型优于纯学习模型。
• 混合模型在训练数据中未包含的推力动作上，泛化能力显著优于纯学习模型。
• 尽管输入为原始感官数据，混合模型在使用真实输入时的性能与解析模型相当。
• 使用神经网络为解析模型提取表征，实现了将视觉输入有效转换为物理上有意义空间的能力。
• 结果表明，结合学习与分析可构建比单一方法更鲁棒、更具泛化能力的预测系统。