[论文解读] RoboChop: Autonomous Framework for Fruit and Vegetable Chopping Leveraging Foundational Models

Atharva Dikshit, Alison Bartsch+2 more|arXiv (Cornell University)|Jul 24, 2023

Smart Agriculture and AI被引用 5

一句话总结

RoboChop 提出了一种自主机器人框架，通过结合视觉基础模型（YOLO 和 SAM）与动作原始动作序列，实现在杂乱砧板上对多种水果和蔬菜进行切割。其任务规划成功率高达 97%，分割成功率达 91%，在不同物体和切割规格下均表现出稳健性能。

ABSTRACT

With the goal of developing fully autonomous cooking robots, developing robust systems that can chop a wide variety of objects is important. Existing approaches focus primarily on the low-level dynamics of the cutting action, which overlooks some of the practical real-world challenges of implementing autonomous cutting systems. In this work we propose an autonomous framework to sequence together action primitives for the purpose of chopping fruits and vegetables on a cluttered cutting board. We present a novel technique to leverage vision foundational models SAM and YOLO to accurately detect, segment, and track fruits and vegetables as they visually change through the sequences of chops, finetuning YOLO on a novel dataset of whole and chopped fruits and vegetables. In our experiments, we demonstrate that our simple pipeline is able to reliably chop a variety of fruits and vegetables ranging in size, appearance, and texture, meeting a variety of chopping specifications, including fruit type, number of slices, and types of slices.

研究动机与目标

• 开发一种完全自主的系统，用于在杂乱砧板上切割水果和蔬菜，解决超越底层切割力学的实际应用挑战。
• 克服在连续切割过程中，因物体外观变化而导致的跟踪与识别困难。
• 通过智能编排低层级动作原始动作，实现灵活的目标导向切割（例如均匀切片、长条形切块）。
• 创建一个新颖且公开可用的完整与切割后水果蔬菜数据集，以支持检测模型的训练与评估。
• 将视觉基础模型（YOLO 和 SAM）整合到一个稳健的端到端机器人流程中，以应对部分故障和动态工作环境。

提出的方法

• 利用 YOLO 实现实时检测完整与切割后的水果蔬菜，基于新收集的 3 种食物类别的数据集进行微调。
• 使用带迭代提示优化的分割一切模型（SAM），在切割过程中及之后生成精确的实例级分割掩码。
• 通过 YOLO 检测结果引导 SAM 的零样本分割，实现 YOLO 与 SAM 输出的融合，提升动态场景中精度与一致性。
• 设计模块化动作原始动作库，包含切、扰动和抓取放置等动作，以支持任务规划及故障恢复。
• 实施分层规划流程：检测物体 → 分割与跟踪 → 规划动作序列 → 带实时反馈与碰撞避免的执行。
• 集成扰动原始动作，用于重新定位部分切割或滚动的物体，提升对视觉与机械故障的鲁棒性。

实验结果

研究问题

• RQ1 基于视觉的机器人系统能否在杂乱工作环境中，通过多次切割动作可靠地检测、分割并跟踪水果和蔬菜？
• RQ2 YOLO 与 SAM 的集成在动态、多步骤切割任务中，对实现精确的物体实例分割与跟踪有多大的有效性？
• RQ3 简单的模块化动作原始动作框架在多种物体类型上，实现多样化切割目标（如均匀切片、长条形切块）的能力如何？
• RQ4 该系统对部分故障（如切割不完全或物体位移）的鲁棒性如何？恢复机制是否能有效恢复任务进度？
• RQ5 在具有不同初始配置和目标切片数量的多物体杂乱场景中，系统的性能表现如何？

主要发现

• 通过 YOLO-SAM 融合流程，系统在物体实例分割上达到 91% 的成功率，显著优于独立使用 SAM 或 YOLO 的表现。
• 任务规划在 97% 的情况下成功，证明了动作序列规划器在满足多样化切割规格方面的有效性。
• 在单物体实验中，均匀切片启发式方法在苹果和黄瓜上均达到 100% 成功率，而长条切片启发式方法在黄瓜上成功率达 80%，在胡萝卜上为 40%，表明对长而细的物体存在挑战。
• 在多物体杂乱场景中，系统成功完成 70% 的任务（10 次实验中 7 次），故障分析表明物体滚动和切割不完全为主要失败原因。
• 扰动原始动作在实验 10 中成功实现故障恢复，通过重新定位物体，使原本失败的任务得以顺利完成。
• 系统对视觉系统误差表现出鲁棒性，具备检测并重新规划部分故障后任务的能力，凸显了模块化、可恢复动作设计的价值。