[论文解读] Unsupervised state representation learning with robotic priors: a robustness benchmark

Timothée Lesort, Mathieu Seurin+3 more|arXiv (Cornell University)|Sep 15, 2017

Fault Detection and Control Systems参考文献 21被引用 20

一句话总结

该论文通过引入机器人先验，将无监督状态表征学习扩展至模拟机器人环境中从RGB图像学习3D手部位置。通过结合孪生网络并引入一种新型参考点先验，该方法实现了在干扰物和领域随机化下具有鲁棒性的低维状态表征，其性能优于自编码器，并在存在极端领域偏移时仍保持了较好的状态空间一致性，尽管在极端领域偏移下仍存在局限性。

ABSTRACT

Our understanding of the world depends highly on our capacity to produce intuitive and simplified representations which can be easily used to solve problems. We reproduce this simplification process using a neural network to build a low dimensional state representation of the world from images acquired by a robot. As in Jonschkowski et al. 2015, we learn in an unsupervised way using prior knowledge about the world as loss functions called robotic priors and extend this approach to high dimension richer images to learn a 3D representation of the hand position of a robot from RGB images. We propose a quantitative evaluation of the learned representation using nearest neighbors in the state space that allows to assess its quality and show both the potential and limitations of robotic priors in realistic environments. We augment image size, add distractors and domain randomization, all crucial components to achieve transfer learning to real robots. Finally, we also contribute a new prior to improve the robustness of the representation. The applications of such low dimensional state representation range from easing reinforcement learning (RL) and knowledge transfer across tasks, to facilitating learning from raw data with more efficient and compact high level representations. The results show that the robotic prior approach is able to extract high level representation as the 3D position of an arm and organize it into a compact and coherent space of states in a challenging dataset.

研究动机与目标

• 将基于机器人先验的无监督状态表征学习方法扩展至高维、丰富的视觉输入（如RGB图像）。
• 评估机器人先验在静态和动态干扰物以及领域随机化等现实挑战下的鲁棒性。
• 提出一种新型对齐参考点先验，以提升表征质量并缓解状态空间中的聚类问题。
• 引入并验证一种新的KNN-MSE指标，用于定量评估状态表征质量。

提出的方法

• 使用孪生卷积神经网络从机器人摄像头捕获的RGB图像中学习低维状态表征。
• 通过基于物理的约束（源自机器人动作和奖励）施加机器人先验作为损失函数，以指导无监督表征学习。
• 引入第五个参考点先验，以稳定状态空间几何结构，并在领域偏移下减少序列内聚类。
• 在潜在空间中使用最近邻方法，通过一种新型KNN-MSE指标评估表征质量，并与NIEQA进行对比验证。
• 应用领域随机化，并添加静态或移动的干扰物，以模拟现实世界中的鲁棒性挑战。
• 使用带有相关奖励的图像对进行网络训练，确保动作、观测与学习到的状态之间的一致性。

实验结果

研究问题

• RQ1 机器人先验能否泛化至高维视觉输入（如RGB图像）以实现3D状态表征学习？
• RQ2 在静态和动态干扰物下，机器人先验的表现如何？在这些设置下会暴露出哪些局限性？
• RQ3 新型参考点先验能否提升所学状态空间的一致性和鲁棒性，尤其是在领域随机化存在的情况下？
• RQ4 所提出的KNN-MSE指标与NIEQA相比在评估表征质量方面表现如何？其在基准测试中是否具备计算可行性？

主要发现

• 机器人先验方法实现了快速收敛（少于15个训练周期），并在学习一致且与任务相关的状态表征方面优于自编码器。
• 原始先验在静态干扰物和强领域随机化下无法泛化，导致状态空间中出现序列内聚类。
• 所提出的第五个参考点先验显著提升了状态空间的一致性并减少了聚类，尤其在Static-Button-Distractors数据集上表现突出。
• KNN-MSE提供了一种计算高效且可靠的NIEQA替代方案，在表征质量排序上表现出强一致性。
• 尽管有所改进，该方法在极端领域偏移下仍存在局限性，表明在先验设计方面仍有进一步探索的空间。
• 仅通过可视化最近邻无法充分评估表征质量；状态空间的几何结构和奖励一致性是更具信息量的指标。