[论文解读] Chemistry Lab Automation via Constrained Task and Motion Planning

Naruki Yoshikawa, Andrew Zou Li+7 more|arXiv (Cornell University)|Dec 19, 2022

Modular Robots and Swarm Intelligence被引用 13

一句话总结

本文提出了一种基于PDDLStream的约束性任务与运动规划（TAMP）的机器人框架，实现了通用机器人在化学实验室中自主执行多步实验（如溶解度筛选和重结晶）的自动化。该系统在8-DoF机器人上实现了97%的约束运动规划成功率，显著减少了溢出，并实现了精确倾倒（液体误差8.1%，粉末误差8.8%），并通过基于视觉的反馈成功执行了溶解度和重结晶实验。

ABSTRACT

Chemists need to perform many laborious and time-consuming experiments in the lab to discover and understand the properties of new materials. To support and accelerate this process, we propose a robot framework for manipulation that autonomously performs chemistry experiments. Our framework receives high-level abstract descriptions of chemistry experiments, perceives the lab workspace, and autonomously plans multi-step actions and motions. The robot interacts with a wide range of lab equipment and executes the generated plans. A key component of our method is constrained task and motion planning using PDDLStream solvers. Preventing collisions and spillage is done by introducing a constrained motion planner. Our planning framework can conduct different experiments employing implemented actions and lab tools. We demonstrate the utility of our framework on pouring skills for various materials and two fundamental chemical experiments for materials synthesis: solubility and recrystallization.

研究动机与目标

• 使通用机器人操作臂能够无需专用非编程化实验设备，自主执行复杂多步化学实验。
• 通过集成碰撞避免与溢出预防的约束运动规划，提升实验室自动化中的安全性和可靠性。
• 通过基于视觉的感知实现实验执行与结果评估之间的闭环控制，提供实时反馈。
• 通过高层次XDL描述，在基础化学实验（如溶解度和重结晶）上验证该框架的有效性。

提出的方法

• 该框架利用PDDLStream执行约束性任务与运动规划（TAMP），将高层次的XDL实验描述转换为可执行的动作序列。
• 其引入了约束运动规划器，通过建模物体动力学与运动学约束，确保液体和粉末的无溢出运输。
• 系统集成了感知模块，用于三维物体检测、位姿估计以及内容分割（如液面高度、浑浊度），以监控实验状态。
• 采用8-DoF机械臂通过增加冗余度，提升运动规划成功率，更好地规避运动学与动力学约束。
• 通过基于视觉的反馈检测溶液溶解与结晶过程，实现闭环执行与结果验证。
• 通过软件接口集成异构实验设备（如加热板、天平），实现对加热、搅拌与称重的控制。

实验结果

研究问题

• RQ1 通用机器人操作臂能否仅通过高层次任务描述，自主执行复杂多步化学实验？
• RQ2 在真实实验环境中，约束运动规划在防止液体与粉末转移过程中的溢出方面效果如何？
• RQ3 将机器人自由度从7-DoF提升至8-DoF，对约束运动规划成功率有何影响？
• RQ4 基于视觉的反馈能否可靠检测自主实验中化学过程的关键节点（如溶解、结晶）？
• RQ5 具有PDDLStream的TAMP流程在处理真实化学实验环境中复杂性与多样性方面的能力如何？

主要发现

• 8-DoF机器人在约束运动规划中实现了97%的成功率，显著高于7-DoF机器人的84%，证明了冗余度增加的优势。
• 倾倒技能在液体上的平均相对误差为8.1%，粉末为8.8%，远低于基线方法的81.4%与24.1%，表明在使用简单传感器时仍具有高精度。
• 溶解度实验中，溶质溶解度测量的误差率为7.2%，与文献中的真实值相当；在未优化执行时间的情况下，实验成功率为56%。
• 成功演示了明矾的重结晶过程，冷却后观察到明显的晶体形成，证实系统能够执行温度依赖的合成协议。
• TAMP失败与感知-环境不一致性是两种主要故障模式，9次溶解度实验中有5次因规划或感知问题中止，凸显了真实环境中执行保真度的挑战。