[论文解读] LaSeSOM: A Latent Representation Framework for Semantic Soft Object Manipulation

Peng Zhou, Jihong Zhu+2 more|arXiv (Cornell University)|Jan 1, 2020

Robot Manipulation and Learning参考文献 35被引用 1

一句话总结

LaSeSOM 提出了一种通用且可扩展的潜在表征框架，用于语义软体操掙，通过内部潜在层将几何特征提取与高层语义分析解耦。通过支持1D/2D/3D任务中的（准）形状规划，该方法克服了先前方法在特定案例上的局限性，在机器人操控行为实验中实现了稳健的性能表现。

ABSTRACT

Soft object manipulation has recently gained popularity within the robotics community due to its potential applications in many economically important areas. Although great progress has been recently achieved in these types of tasks, most state-of-the-art methods are case-specific; They can only be used to perform a single deformation task (e.g. bending), as their shape representation algorithms typically rely on hard-coded features. In this paper, we present LaSeSOM, a new feedback latent representation framework for semantic soft object manipulation. Our new method introduces internal latent representation layers between low-level geometric feature extraction and high-level semantic shape analysis; This allows the identification of each compressed semantic function and the formation of a valid shape classifier from different feature extraction levels. The proposed latent framework makes soft object representation more generic (independent from the object's geometry and its mechanical properties) and scalable (it can work with 1D/2D/3D tasks). Its high-level semantic layer enables to perform (quasi) shape planning tasks with soft objects, a valuable and underexplored capability in many soft manipulation tasks. To validate this new methodology, we report a detailed experimental study with robotic manipulators.

研究动机与目标

• 解决现有软体操控行为方法因硬编码特征而严格绑定特定形变任务的局限性。
• 开发一种与几何形状和力学特性无关的通用且可扩展的软体表征框架。
• 实现对软体的高层语义形状规划，这一能力在当前机器人研究中尚未得到充分探索。
• 在低层特征与高层语义之间集成内部潜在表征层，以提升分类性能与任务泛化能力。

提出的方法

• 在几何特征提取与语义形状分析之间引入内部潜在表征层，以实现低层特征与高层语义的解耦。
• 利用来自多个特征提取层级的压缩语义函数，构建有效的形状分类器。
• 通过统一的潜在空间设计，使框架能够在1D、2D和3D操控行为任务中实现可扩展性。
• 利用高层语义层支持（准）形状规划，实现对期望形变的规划。
• 通过机器人操纵器进行训练与验证，评估框架在真实世界软体操控行为中的性能表现。
• 通过潜在空间的解耦，确保表征对物体几何形状和力学特性保持不变。

实验结果

研究问题

• RQ1 潜在表征框架是否能够泛化到超越单一形变类型的多样化软体操控行为任务？
• RQ2 潜在空间在不同维度任务（1D/2D/3D）中，是否能有效支持语义形状分类与规划？
• RQ3 与最先进方法相比，该框架在多大程度上减少了对硬编码特征的依赖？
• RQ4 高层语义层是否能够在机器人操控行为场景中支持（准）形状规划？
• RQ5 当应用于具有不同几何形状和力学特性的软体时，该框架的可扩展性与鲁棒性如何？

主要发现

• LaSeSOM 框架成功地将几何特征提取与语义分析解耦，实现了通用的软体表征。
• 该方法通过统一的潜在空间架构，实现了在1D、2D和3D操控行为任务中的可扩展性。
• 高层语义层支持（准）形状规划，这是现有软体操控系统中较少见的新能力。
• 该框架在机器人操控行为实验中表现出稳健性能，验证了其实际适用性。
• 潜在表征与物体几何形状和力学特性无关，增强了在多样化软体上的泛化能力。
• 通过整合来自多个特征提取层级的压缩语义函数，系统实现了有效的形状分类。