[论文解读] Co-active Learning to Adapt Humanoid Movement for Manipulation

Ren Mao, John S. Baras+2 more|arXiv (Cornell University)|Sep 12, 2016

Robot Manipulation and Learning参考文献 12被引用 5

一句话总结

本文提出了一种协同主动学习框架，通过迭代的人类反馈实现人形机器人在操作任务中运动的自适应。该框架整合了任务上下文感知、运动模仿、策略优化以及基于三部分权重向量（示范、上下文、环境）的在线权重更新，利用投影梯度更新实现收敛，从而提升适应性。

ABSTRACT

In this paper we address the problem of robot movement adaptation under various environmental constraints interactively. Motion primitives are generally adopted to generate target motion from demonstrations. However, their generalization capability is weak while facing novel environments. Additionally, traditional motion generation methods do not consider the versatile constraints from various users, tasks, and environments. In this work, we propose a co-active learning framework for learning to adapt robot end-effector's movement for manipulation tasks. It is designed to adapt the original imitation trajectories, which are learned from demonstrations, to novel situations with various constraints. The framework also considers user's feedback towards the adapted trajectories, and it learns to adapt movement through human-in-the-loop interactions. The implemented system generalizes trained motion primitives to various situations with different constraints considering user preferences. Experiments on a humanoid platform validate the effectiveness of our approach.

研究动机与目标

• 为了使人形机器人能够利用人类提供的反馈实现实时调整其操作运动。
• 为解决复杂操作任务中动态任务上下文和不完美示范的挑战。
• 开发一个统一的学习框架，整合感知、模仿与反馈驱动的策略自适应。
• 通过多权重分量的投影在线更新，确保策略学习的稳定与收敛。

提出的方法

• 该方法初始化一个复合权重向量，整合示范、上下文与环境特征：$\bm{w}^{(0)} = [\bm{w}_{D}^{(0)\top}, \bm{w}_{C}^{(0)\top}, \bm{w}_{E}^{(0)\top}]^{\top}$。
• 在每次迭代 $i$，系统感知当前任务上下文 $\bm{x}_{c}^{(i)}$，并生成示范分布 $p(\bm{\mathcal{T}}|\bm{x}_{c}^{(i)})$，以提取 $\bm{y}_{D}^{(i)}$ 和 $\bm{\Sigma}_{D}^{(i)}$。
• 优化策略 $\bm{\pi}^{*(i)}$ 以最大化奖励函数 $f(\bm{y}, \bm{x}_{c}^{(i)}, \bm{y}_{D}^{(i)}; \bm{w}^{(i)})$，生成用于执行的动作 $\bm{y}^{(i)}$。
• 执行后，利用人类反馈 $\bm{\bar{y}}^{(i)}$ 以递减的学习率 $\alpha^{(i)} = 1/\sqrt{i}$ 更新权重。
• 执行三次独立的权重更新：针对示范（$\bm{w}_{D}$）、上下文（$\bm{w}_{C}$）和环境（$\bm{w}_{E}$），基于特征差异进行。
• 投影步骤确保更新后的权重 $\bm{w}^{(i+1)}$ 保持在可行集 $\bm{C}$ 内，从而维持稳定性和收敛性。

实验结果

研究问题

• RQ1 人形机器人如何有效响应实时人类反馈，自适应其操作策略？
• RQ2 如何最优地将感知、模仿与反馈整合进单一学习框架？
• RQ3 为示范、上下文与环境分别设置权重分量如何促进策略自适应？
• RQ4 在非平稳环境中，基于在线、反馈驱动的权重更新，能够获得何种收敛保证？

主要发现

• 协同主动学习框架能够通过人类反馈实现稳定且迭代的人形操作策略自适应。
• 采用递减学习率 $\alpha^{(i)} = 1/\sqrt{i}$ 确保了权重更新随时间收敛。
• 投影更新机制维持了可行性，防止权重空间中的发散。
• 将示范、上下文与环境的权重分量分离，实现了模块化且可解释的策略学习。
• 该算法成功地将感知、模仿、策略优化与反馈整合进单一、统一的循环中。