[论文解读] Compare Contact Model-based Control and Contact Model-free Learning: A Survey of Robotic Peg-in-hole Assembly Strategies

Jing Xu, Zhimin Hou+2 more|arXiv (Cornell University)|Apr 10, 2019

Robot Manipulation and Learning参考文献 93被引用 84

一句话总结

本论文综述机器人夹孔组装策略，比较基于接触模型的传统控制与两类无模型学习（从示范学习和从环境学习）的分支，并讨论整合、挑战与未来方向。

ABSTRACT

In this paper, we present an overview of robotic peg-in-hole assembly and analyze two main strategies: contact model-based and contact model-free strategies. More specifically, we first introduce the contact model control approaches, including contact state recognition and compliant control two steps. Additionally, we focus on a comprehensive analysis of the whole robotic assembly system. Second, without the contact state recognition process, we decompose the contact model-free learning algorithms into two main subfields: learning from demonstrations and learning from environments (mainly based on reinforcement learning). For each subfield, we survey the landmark studies and ongoing research to compare the different categories. We hope to strengthen the relation between these two research communities by revealing the underlying links. Ultimately, the remaining challenges and open questions in the field of robotic peg-in-hole assembly community is discussed. The promising directions and potential future work are also considered.

研究动机与目标

• 将现有的穿孔组装策略归类为基于接触模型和基于无接触模型的两大类。
• 分析基于接触模型的方法中的接触状态识别与顺从控制。
• 在无模型方法中，综述学习-来自演示（从示范学习）与基于环境学习（LFE，包括强化学习和基于模型的强化学习讨论）。
• 讨论传统模型与数据驱动学习之间的联系并指出尚待解决的挑战。

提出的方法

• 对穿孔组装的文献进行综述并分成两大类：基于接触模型的方法和无接触模型的方法。
• 在基于接触模型的方法中，分析接触状态识别（分析式 vs. 统计式）和顺从控制（低层次和高层次规划）。
• 在无接触模型的方法中，区分从示范学习（LFD）与从环境学习（LFE，包括强化学习和基于模型的强化学习讨论）。
• 使用报道的指标（如接触状态识别的成功率和计算时间）来比较方法。
• 概述基于模型和无模型范式之间的接口，以提出混合方法及未来研究方向。

实验结果

研究问题

• RQ1 在穿孔组装中，基于接触模型的控制与基于无接触模型的学习的主要特征与局限性是什么？
• RQ2 从示范学习和强化学习的策略在鲁棒性、数据效率和泛化能力方面的比较如何？
• RQ3 传统接触模型与来自示范的隐式模型学习之间的联系原理是什么？
• RQ4 在将这些策略整合到实际组装中时，哪些开放挑战和未来方向会出现？

主要发现

• 分析式接触状态识别对不确定性敏感，可能对新环境的泛化能力较差。
• 统计方法（GMM、SVM）在接触状态识别方面提供更好的泛化，但在准确性和计算方面存在权衡。
• 隐马尔可夫模型（HMM）可以结合时间信息以改善穿孔组装中的状态转移识别。
• 从示范学习和基于强化学习的方法在处理变异性和非结构化环境方面具有灵活性，其中LFD包括DMP、GMM和HMM作为编码策略。
• 表II报道了识别方法的对比性能，例如GMM/DSM-GMM的成功率为94.4%，SVM方法为64.2%，SGB为60.7%（存在各种权衡）。
• 基于模型的强化学习讨论表明，在夹孔任务中将先验知识与学习相结合时可能带来潜在利益。