[論文レビュー] Tactile Memory with Soft Robot: Robust Object Insertion via Masked Encoding and Soft Wrist

Tatsuya Kamijo, Mai Nishimura+3 more|arXiv (Cornell University)|Jan 27, 2026

Advanced Sensor and Energy Harvesting Materials被引用数 0

ひとこと要約

TaMeSo-bot は柔らかい手首と MAT3 を統合し、マスクされた時空間表現学習と触覚メモリ取得によってロバストなピン・イン・穴の挿入を実現。未知の物体・乱れに generalizing。

ABSTRACT

Tactile memory, the ability to store and retrieve touch-based experience, is critical for contact-rich tasks such as key insertion under uncertainty. To replicate this capability, we introduce Tactile Memory with Soft Robot (TaMeSo-bot), a system that integrates a soft wrist with tactile retrieval-based control to enable safe and robust manipulation. The soft wrist allows safe contact exploration during data collection, while tactile memory reuses past demonstrations via retrieval for flexible adaptation to unseen scenarios. The core of this system is the Masked Tactile Trajectory Transformer (MAT$^ ext{3}$), which jointly models spatiotemporal interactions between robot actions, distributed tactile feedback, force-torque measurements, and proprioceptive signals. Through masked-token prediction, MAT$^ ext{3}$ learns rich spatiotemporal representations by inferring missing sensory information from context, autonomously extracting task-relevant features without explicit subtask segmentation. We validate our approach on peg-in-hole tasks with diverse pegs and conditions in real-robot experiments. Our extensive evaluation demonstrates that MAT$^ ext{3}$ achieves higher success rates than the baselines over all conditions and shows remarkable capability to adapt to unseen pegs and conditions.

研究の動機と目的

• 触覚メモリを介して不確実性に適応できるロバストな接触豊富な操作を動機づける。
• ソフトロボティクスと触覚メモリを組み合わせ、データ収集を安全に行い柔軟な実行を可能にする。
• MAT3 を開発して触覚信号、力-トルク、そして固有受容感覚の時空間相互作用を符号化する。
• 過去のデモのデータベースから retrieval ベースのノンパラメトリック制御を実現する。
• 未知のピン・条件に対する実机器人のピン・イン・穴タスクで generalization を示す。

提案手法

• 分散触覚タクセル、動作、力-トルク、固有受容覚信号間の時空間相互作用を符号化する Masked Tactile Trajectory Transformer (MAT3) を導入する。
• マスク付きトークン予測を用いた双方向 Transformer で、文脈からマスクされた状態と動作を再構成して豊かな表現を学習する。
• 3×3 グリッドのタクセルと固定の 2D 空間埋め込み、および時間的位置符号化を用いて Aux 信号をソフト連結で融合する。
• 埋め込み z_t（符号化されたサブ・トラジェクトリの平均プーリングを介して）と対応する動作を触覚メモリデータベースに格納する。
• 実行時には、クエリ埋め込みの現在のマスクされた動作トークンを用いてデータベース上の最近傍検索（L2 距離）を行う。
• 実機を用いたピン・イン・穴タスクで、未知のピンや乱れに対するロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 TaMeSo-bot は seen および unseen のピン・イン・穴タスクと状況を完遂できるか。
• RQ2 MAT3 はベースラインと比べて未知のピンや操作条件へのロバスト性と適応を向上させるか。
• RQ3 マスクされた時空間表現は触覚メモリの効果的な取得ベース制御を可能にするか。

主な発見

• マスク付き MAT3 は未知のピンと乱れに対する現実ロボット実験でベースラインより高い成功率を達成。
• 特に未知の条件（開始位置、摩擦、傾斜）下で、MAT3 はマスクなしの MAT3 および Tactile Transformer より優れている。
• マスク付きモデリングは、スムーズでサブタスクにより整合した動作を retrieved することでロバスト性を高める。
• 埋め込み空間の可視化は MAT3 がサブタスク関連の構造（適合、整 alignment、挿入）を符号化し、堅牢な取得を支援することを示唆。
• 提案手法はデモンストレーションされた挙動を基盤とし、ソフトウィストの適合性を用いた安全な探索で安全性を維持する。