[论文解读] Learning Visuo-Haptic Skewering Strategies for Robot-Assisted Feeding

Priya Sundaresan, Suneel Belkhale+1 more|arXiv (Cornell University)|Nov 26, 2022

Tactile and Sensory Interactions被引用 7

一句话总结

本文提出了一种零样本视觉触觉穿刺策略，通过在单次交互过程中实时融合视觉与触觉反馈，自适应地规划多样且未见过的食品的最优穿刺策略。通过从原始感官输入中学习多模态表征，该系统在69次穿刺尝试中实现了71%的成功率，优于单模态和非反应式基线方法。

ABSTRACT

Acquiring food items with a fork poses an immense challenge to a robot-assisted feeding system, due to the wide range of material properties and visual appearances present across food groups. Deformable foods necessitate different skewering strategies than firm ones, but inferring such characteristics for several previously unseen items on a plate remains nontrivial. Our key insight is to leverage visual and haptic observations during interaction with an item to rapidly and reactively plan skewering motions. We learn a generalizable, multimodal representation for a food item from raw sensory inputs which informs the optimal skewering strategy. Given this representation, we propose a zero-shot framework to sense visuo-haptic properties of a previously unseen item and reactively skewer it, all within a single interaction. Real-robot experiments with foods of varying levels of visual and textural diversity demonstrate that our multimodal policy outperforms baselines which do not exploit both visual and haptic cues or do not reactively plan. Across 6 plates of different food items, our proposed framework achieves 71% success over 69 skewering attempts total. Supplementary material, datasets, code, and videos are available on our website: https://sites.google.com/view/hapticvisualnet-corl22/home

研究动机与目标

• 使机器人辅助进餐系统能够泛化到具有不同质地和几何形状的未见过的食品。
• 解决仅依靠视觉线索难以获取易碎或可变形食品的问题，因为这些方法常因误判材料特性而失败。
• 开发一种反应式、多模态策略，在单次交互过程中利用视觉和触觉反馈实时调整穿刺策略。
• 减少对预编程轨迹或多轮交互尝试的依赖，以避免对娇嫩食品造成损伤。
• 展示对未见过的食品类别（包括外观相似但机械性能不同的食品）的零样本泛化能力。

提出的方法

• 系统采用粗粒度到细粒度的视觉伺服控制，基于视觉检测接近目标食品。
• 接触后，收集原始触觉和视觉观测数据，通过HapticVisualNet（一种经过训练以编码两种感官模态的神经网络）构建多模态表征。
• 所学习的表征能够实时捕捉食品的几何形状与形变特性。
• 反应式穿刺策略利用该融合表征，选择最优插入角度和运动轨迹以实现稳定抓取。
• 策略通过人类示范的稀疏标签进行训练，支持对新食品类型的零样本泛化。
• 该框架将视觉伺服控制与多模态策略学习整合到单一连续交互循环中，最大限度减少重复尝试。

实验结果

研究问题

• RQ1 机器人是否能仅通过单次交互，零样本泛化到具有多样化视觉与纹理特性的未见过食品？
• RQ2 与单模态（仅视觉或仅触觉）方法相比，联合视觉触觉感知在穿刺成功率方面有何提升？
• RQ3 基于实时感官反馈的反应式规划在处理可变形和易碎食品时，与开环或非反应式策略相比，性能提升程度如何？
• RQ4 单一多模态表征是否能有效编码食品的几何形状与机械性能（如硬度、脆弱性）以支持下游操作？
• RQ5 系统在外观相似但机械特性不同的食品（如生胡萝卜与煮熟胡萝卜）上的表现如何？

主要发现

• 所提出的HapticVis框架在6种不同食品盘的69次总尝试中实现了71%的穿刺成功率，显著优于基线方法。
• 在未见过的盘子（5号和6号）上，HapticVis实现了58%的成功率，较仅视觉基线（Vis）高出19个百分点，证明了强大的零样本泛化能力。
• 该方法在所有盘子上均优于仅视觉（Vis）和仅触觉（Haptic）基线，证实了多模态融合的优势。
• 失败主要源于极端脆弱性（如饺子）或过薄性（如豌豆），表明对极娇嫩或扁平物品仍存在局限。
• 系统通过利用触觉反馈，成功区分了外观相似但机械性能不同的食物，如生胡萝卜与煮熟胡萝卜。
• 与开环策略（如SPANet）相比，基于多模态反馈的反应式规划在纹理和视觉多样性较高的盘子上表现更稳健。