[论文解读] Defining the problem of Observation Learning

Leo Pauly|arXiv (Cornell University)|Aug 24, 2018

Robot Manipulation and Learning参考文献 11被引用 3

一句话总结

本文将观察学习定义为机器人学中的一个独立问题，即智能体通过观察第三人称（非主体视角）的示范者而无需显式编程来学习任务。它提出了一种两阶段学习框架：首先将原始视频观测映射到视角不变的特征空间，然后将这些特征映射到机器人控制变量，从而实现通过视觉示范进行类人技能获取。

ABSTRACT

This article defines and formulates the problem of observation learning in robotic systems.

研究动机与目标

• 正式将观察学习定义为与模仿学习不同的独立问题，强调第三人称（非主体视角）的观察。
• 解决机器人通过观察人类示范而无需显式编程来学习新任务的挑战。
• 开发一种将示范的原始视觉输入映射到机器人控制策略的学习框架，以模仿人类学习过程。
• 通过聚焦于从非结构化视频输入中学习视角不变的特征，将观察学习与模仿学习区分开来。
• 通过仅依赖视觉观察，为可扩展的、类人技能获取奠定基础。

提出的方法

• 将观察学习形式化为映射 M: X → C，其中 X 是人类示范者的视频序列，C 是机器人操作臂的控制变量（关节角度、速度、扭矩）。
• 将该映射分解为两个阶段：M₁: X → F（将原始视频映射到视角不变的特征空间 F），以及 M₂: F → C（将特征映射到机器人控制输出）。
• 确保 M₁ 对于从不同角度观察到的相同动作产生相同的输出，使 F 对观察者视角保持不变。
• 使用自监督方法学习机器人自身第三人称视角与关节配置之间的映射关系。
• 使用人类监督学习人类示范者第三人称观测与机器人关节配置之间的映射关系。
• 在迭代训练过程中结合人类监督、自监督和观察学习，以学习 X → C 映射。

实验结果

研究问题

• RQ1 如何在形式上将观察学习与模仿学习区分开来，特别是在视角（非主体视角 vs. 主体视角）方面？
• RQ2 将原始视频示范映射到机器人控制策略的合适数学公式是什么？
• RQ3 如何从非结构化视频输入中学习视角不变的特征表示，以实现稳健的任务泛化？
• RQ4 人类监督和自监督在学习人类动作与机器人控制之间映射关系中分别起什么作用？
• RQ5 当前依赖手工设计特征的辅助观察学习方法存在哪些局限性？

主要发现

• 由于使用了非主体视角（第三人称）观察，观察学习与模仿学习是不同的问题，需要独立建模和工具。
• 所提出的两阶段映射——M₁ 将视频映射到视角不变的特征，M₂ 将特征映射到控制——能够实现从多种视角观察下的鲁棒学习。
• 自监督和人类监督对于学习视觉观测与机器人关节配置之间对应关系至关重要。
• 结合使用人类监督、自监督和观察学习，可显著提升在真实、非受限环境中的性能。
• 辅助观察学习虽然更简单，但受限于对手工设计特征的依赖以及对机器人动作精确模仿的需求，而后者在实际中难以收集。
• 该领域仍处于起步阶段，特别是在隐式观察学习方面，未来在类人技能获取方面具有巨大发展潜力。