[论文解读] Learning Sequential Acquisition Policies for Robot-Assisted Feeding

Priya Sundaresan, Jiajun Wu+1 more|arXiv (Cornell University)|Sep 11, 2023

Innovations in Concrete and Construction MaterialsEngineering被引用 3

一句话总结

VAPORS 是一种用于机器人辅助进餐的分层框架，通过从分割图像中学习潜在盘面动力学，在仿真环境中学习高层级的序列获取策略，然后在真实世界中通过视觉参数化的低层基元执行这些计划。该方法在基线方法中实现了更优的盘面清理效率和用户偏好度，对未见过的酱料、配料以及分布外的菜肴（如 DoorDash 面条）具有泛化能力，平均清理率达到 64%。

ABSTRACT

A robot providing mealtime assistance must perform specialized maneuvers with various utensils in order to pick up and feed a range of food items. Beyond these dexterous low-level skills, an assistive robot must also plan these strategies in sequence over a long horizon to clear a plate and complete a meal. Previous methods in robot-assisted feeding introduce highly specialized primitives for food handling without a means to compose them together. Meanwhile, existing approaches to long-horizon manipulation lack the flexibility to embed highly specialized primitives into their frameworks. We propose Visual Action Planning OveR Sequences (VAPORS), a framework for long-horizon food acquisition. VAPORS learns a policy for high-level action selection by leveraging learned latent plate dynamics in simulation. To carry out sequential plans in the real world, VAPORS delegates action execution to visually parameterized primitives. We validate our approach on complex real-world acquisition trials involving noodle acquisition and bimanual scooping of jelly beans. Across 38 plates, VAPORS acquires much more efficiently than baselines, generalizes across realistic plate variations such as toppings and sauces, and qualitatively appeals to user feeding preferences in a survey conducted across 49 individuals. Code, datasets, videos, and supplementary materials can be found on our website: https://sites.google.com/view/vaporsbot.

研究动机与目标

• 为解决机器人辅助进餐中长期、多步骤食物获取的挑战，即机器人必须随时间组合专门的操控策略。
• 通过在仿真中使用基于图像的潜在动力学学习高层规划，同时依赖真实世界视觉实现低层基元执行，弥合仿真到现实的差距。
• 实现对各类食物变化（如酱料、配料及分布外菜肴，如外卖面条）的泛化能力。
• 通过模仿人类进餐策略（如在获取前聚集食物）提升用户体验。
• 证明分层规划结合专门化、视觉参数化的基元，可实现高效且直观的盘面清理。

提出的方法

• VAPORS 使用基于模型的强化学习在仿真中训练高层策略，根据盘面的分割图像观测结果，选择离散的操控策略（例如：卷曲、舀取）。
• 高层策略学习从图像表征中建模潜在盘面动力学，以优化食物获取与重新排列。
• 低层动作通过视觉参数化的基元（如叉子卷曲、双臂舀取）执行，这些基元基于真实世界数据训练，结合位姿估计与分割技术。
• 该框架将高层规划（在仿真中）与低层执行（在现实中）解耦，实现可扩展的策略学习与真实世界适应能力。
• 使用分割图像输入作为状态表征，以确保仿真与真实环境之间的可迁移性。
• 系统以分层方式规划动作序列，其中高层策略选择下一步策略，低层策略结合视觉反馈执行该策略。

Figure 1: Visual Action Planning OveR Sequences (VAPORS) employs a high level policy $\pi_{H}$ to select amongst discrete manipulation strategies $h$ , such as grouping and twirling, and a low-level vision-parameterized policy $\pi_{L}$ to execute these actions $a_{t}$ for long-horizon dexterous foo

实验结果

研究问题

• RQ1 分层强化学习框架能否有效学习长期、多步的食物获取策略，以组合多种专门的操控策略？
• RQ2 基于图像的潜在动力学在仿真中进行高层规划，能否泛化到真实世界中对未见过的食物变化的盘面清理？
• RQ3 与启发式或单基元基线方法相比，使用视觉参数化的低层基元是否能提升性能和用户偏好度？
• RQ4 该系统在面对含酱料、配料及复杂食物排列的分布外盘面时，其泛化能力达到何种程度？
• RQ5 与基线方法相比，用户如何评价该机器人进餐行为的效率、自然度与直观性？

主要发现

• VAPORS 在纯面条（Tier 1）上实现 90% 的盘面清理率，在带酱面条（Tier 2）上为 68%，在 DoorDash 面条（Tier 3）上为 64%，展现出强大的零样本泛化能力。
• 系统在多个评估维度上获得显著更高的用户偏好评分（p < 0.05），用户指出其行为模仿了自然的进餐动作。
• 用户认为 VAPORS 比基线方法更高效、更直观，尤其赞赏其在获取前聚集食物的能力。
• 失败原因主要为误判（占失败的 18–25%），其次是滑脱（Tier 3 中占 23%），尤其在带酱或易滑食物上更为明显。
• VAPORS 在定量清理率和定性用户反馈方面均优于 Acquire-Only 和 Heuristic 基线方法。
• 该框架在真实世界测试中成功执行了包含双臂舀取和面条卷曲等复杂序列，验证了其灵巧操控能力。

Figure 2: Action Parameterization: We parameterize acquisition and rearrangement actions relative to the densest $(x_{d},y_{d},z_{d})$ and furthest $(x_{f},y_{f},z_{f})$ regions on the plate, as well as the utensil roll $\gamma$ and pitch $\beta$ .