[论文解读] Robot-Assisted Feeding: Generalizing Skewering Strategies across Food Items on a Realistic Plate

Ryan Feng, Youngsun Kim+6 more|arXiv (Cornell University)|Jun 5, 2019

Robot Manipulation and Learning参考文献 26被引用 13

一句话总结

本文提出了一种机器人辅助进餐系统，通过学习到的动作策略，将穿刺策略泛化至未见过的食物种类。通过在16种食物类型上收集2450次进餐尝试，作者训练了SPARNet——一种视觉与环境感知网络，可预测动作成功率并选择最优穿刺策略，在杂乱餐盘中对未见过的食物实现了91%的成功率。

ABSTRACT

A robot-assisted feeding system must successfully acquire many different food items. A key challenge is the wide variation in the physical properties of food, demanding diverse acquisition strategies that are also capable of adapting to previously unseen items. Our key insight is that items with similar physical properties will exhibit similar success rates across an action space, allowing the robot to generalize its actions to previously unseen items. To better understand which skewering strategy works best for each food item, we collected a dataset of 2450 robot bite acquisition trials for 16 food items with varying properties. Analyzing the dataset provided insights into how the food items' surrounding environment, fork pitch, and fork roll angles affect bite acquisition success. We then developed a bite acquisition framework that takes the image of a full plate as an input, segments it into food items, and then applies our Skewering-Position-Action network (SPANet) to choose a target food item and a corresponding action so that the bite acquisition success rate is maximized. SPANet also uses the surrounding environment features of food items to predict action success rates. We used this framework to perform multiple experiments on uncluttered and cluttered plates. Results indicate that our integrated system can successfully generalize skewering strategies to many previously unseen food items.

研究动机与目标

• 解决在机器人辅助进餐中，将食物获取策略泛化至训练期间未见过的食物种类的挑战。
• 克服先前方法需为每类食物手动标注穿刺位置的局限性。
• 开发一种数据驱动框架，利用物理和环境特征预测成功的穿刺动作。
• 通过单一集成系统，实现对无杂乱和杂乱餐盘的鲁棒进餐获取。
• 通过包含多样化食物特性的现实世界实验，展示对类别外食物的泛化能力。

提出的方法

• 在16种具有不同物理特性和环境条件的食物上，收集了2,450次机器人进餐尝试的数据集。
• 训练了穿刺位置-动作网络（SPANet），基于裁剪后的食物图像和环境上下文，预测六种预定义穿刺动作的成功概率。
• SPANet整合了环境特征，如隔离度、靠近盘边的距离或堆叠状态，这些特征通过独立的环境分类器进行分类。
• 将SPANet集成到完整流程中：全盘图像 → 使用RetinaNet进行目标检测 → 环境分类 → SPANet进行动作选择。
• 利用预测的成功率选择每个食物种类的最优穿刺动作（例如，垂直穿刺、带垂直或倾斜叉齿的倾斜穿刺）。
• 应用运动规划执行选定动作，并设置感知与规划异常的备用机制。

实验结果

研究问题

• RQ1 机器人能否基于物理和环境相似性，将穿刺策略泛化至训练期间未见过的食物种类？
• RQ2 环境因素（如靠近盘边的距离或堆叠状态）如何影响进餐获取的成功率？
• RQ3 视觉模型在无需为每类食物手动标注的情况下，能在多大程度上预测成功的穿刺动作？
• RQ4 该系统在含有未见过食物种类的杂乱餐盘上的表现如何？
• RQ5 叉子的俯仰角和横滚角在不同食物种类的穿刺动作成功中起到何种作用？

主要发现

• SPANet在杂乱餐盘配置中，对类别外食物种类（如哈密瓜、蜜瓜、甜椒）实现了91%的进餐获取成功率。
• 系统在两次类别外餐盘上成功获取了全部10种食物，仅用11次尝试，且在类别内餐盘（哈密瓜）中仅出现一次失败。
• 对于胡萝卜，系统在10次尝试中完全匹配预期成功率，无任何失败。
• 堆叠草莓类食物在10次尝试中仅出现一次失败，而靠墙放置的草莓类食物虽未选择最优动作，但实际成功率与预测值一致。
• 该模型对相似食物种类泛化良好，但对滑溜或软芯食物（如香蕉和猕猴桃）表现不佳，原因在于视觉模态的局限性。
• 感知异常在25次检测尝试中发生了3次，原因包括背景相似性（如绿色生菜）；5次运动规划失败归因于复杂杂乱环境。