[论文解读] Tactile Memory with Soft Robot: Robust Object Insertion via Masked Encoding and Soft Wrist

Tatsuya Kamijo, Mai Nishimura+3 more|arXiv (Cornell University)|Jan 27, 2026

Advanced Sensor and Energy Harvesting Materials被引用 0

一句话总结

TaMeSo-bot 将柔性手腕与 MAT3 结合，存储并检索触觉经验以实现鲁棒的塞入孔任务；通过掩蔽时空表示学习和触觉记忆检索对未见螺钉和条件实现泛化.

ABSTRACT

Tactile memory, the ability to store and retrieve touch-based experience, is critical for contact-rich tasks such as key insertion under uncertainty. To replicate this capability, we introduce Tactile Memory with Soft Robot (TaMeSo-bot), a system that integrates a soft wrist with tactile retrieval-based control to enable safe and robust manipulation. The soft wrist allows safe contact exploration during data collection, while tactile memory reuses past demonstrations via retrieval for flexible adaptation to unseen scenarios. The core of this system is the Masked Tactile Trajectory Transformer (MAT$^ ext{3}$), which jointly models spatiotemporal interactions between robot actions, distributed tactile feedback, force-torque measurements, and proprioceptive signals. Through masked-token prediction, MAT$^ ext{3}$ learns rich spatiotemporal representations by inferring missing sensory information from context, autonomously extracting task-relevant features without explicit subtask segmentation. We validate our approach on peg-in-hole tasks with diverse pegs and conditions in real-robot experiments. Our extensive evaluation demonstrates that MAT$^ ext{3}$ achieves higher success rates than the baselines over all conditions and shows remarkable capability to adapt to unseen pegs and conditions.

研究动机与目标

• 通过触觉记忆促进对不确定性的鲁棒接触丰富操控的动机。
• 将软体机器人与触觉记忆结合以实现安全的数据收集和灵活执行。
• 开发 MAT3 来编码触觉信号、力矩与本体感知之间的时空交互。
• 从过去演示的数据库中进行基于检索的、非参数控制。
• 在真实机器人塞入孔任务中证明对未见螺钉和条件的泛化能力。

提出的方法

• 提出 Masked Tactile Trajectory Transformer (MAT3)，编码分布式触觉感受野、动作、力矩和本体感知信号之间的时空交互。
• 使用带掩蔽 token 预测的双向 Transformer，通过从上下文重建被掩蔽的状态和动作来学习丰富表示。
• 通过对辅助信号的软拼接以及对地面 taxels（3x3 网格）使用固定的二维空间嵌入和时间位置编码来融合模态。
• 将编码后的子轨迹的平均池化得到的嵌入 z_t 与相应动作一起存储在触觉记忆数据库中。
• 在执行阶段，使用对查询嵌入带掩蔽当前动作 token 的情况下，对数据库进行基于 L2 距离的最近邻检索。
• 在真实机器人塞入孔任务中评估以测试对未见螺钉与扰动的鲁棒性。

实验结果

研究问题

• RQ1 TaMeSo-bot 是否能够在可见与不可见螺钉及条件下完成塞入孔任务？
• RQ2 与基线相比，MAT3 是否提升对未见螺钉与操控条件的鲁棒性与适应性？
• RQ3 掩蔽时空表示是否能够实现对触觉记忆的有效基于检索的控制？

主要发现

• 掩蔽后的 MAT3 在真实机器人实验中对未见螺钉与扰动的任务显示出比基线更高的成功率。
• MAT3 比触觉 Transformer 及未掩蔽的 MAT3 在未见条件下（起始位置、摩擦、倾斜）表现更优。
• 掩蔽建模通过实现更平滑、与子任务对齐的动作检索，提高了鲁棒性。
• 嵌入空间的可视化表明 MAT3 编码了与子任务相关的结构（拟合、对齐、插入），支持鲁棒检索。
• 该方法通过以演示行为为基础的控制与柔性手腕的顺应性实现安全性保障与探索。