[论文解读] Integrating a Manual Pipette into a Collaborative Robot Manipulator for Flexible Liquid Dispensing

Junbo Zhang, Weiwei Wan+3 more|arXiv (Cornell University)|Jul 4, 2022

Electrowetting and Microfluidic Technologies被引用 4

一句话总结

本文提出了一种协作机器人系统，通过集成标准手动移液枪，实现实验室环境中灵活且高精度的液体分液。通过结合直接示教实现耗材位姿识别、运动规划，以及基于视觉变换器的误差校正，该系统在不改造实验室环境的前提下，实现了稳定的枪头安装与分液，适用于拥挤实验室中低频次、高重复性的生化实验任务，部署迅速。

ABSTRACT

This paper presents a system integration approach for a 6-DoF (Degree of Freedom) collaborative robot to operate a pipette for liquid dispensing. Its technical development is threefold. First, we designed an end-effector for holding and triggering manual pipettes. Second, we took advantage of a collaborative robot to recognize labware poses and planned robotic motion based on the recognized poses. Third, we developed vision-based classifiers to predict and correct positioning errors and thus precisely attached pipettes to disposable tips. Through experiments and analysis, we confirmed that the developed system, especially the planning and visual recognition methods, could help secure high-precision and flexible liquid dispensing. The developed system is suitable for low-frequency, high-repetition biochemical liquid dispensing tasks. We expect it to promote the deployment of collaborative robots for laboratory automation and thus improve the experimental efficiency without significantly customizing a laboratory environment.

研究动机与目标

• 使协作机器人能够在不依赖专用基础设施的现有实验室环境中，执行灵活、高重复性的生化液体分液任务。
• 解决将实验室中广泛使用的标准手动移液枪集成到机器人系统中的挑战，且不需修改移液枪或耗材。
• 开发一种低成本、可快速部署的机器人解决方案，可在人类与现有自动化系统附近安全运行。
• 通过基于视觉的偏差预测与闭环校正，提升枪头安装的精度，确保在真实环境中的鲁棒性。

提出的方法

• 对商用6-DoF协作机器人进行改造，配备带有双指平行夹具和嵌入式RGB摄像头的定制末端执行器，以夹持并触发手动移液枪。
• 利用机器人的直接示教模式，无需预编程即可识别耗材（枪头架与微孔板）的初始位姿，实现在不同配置下的灵活设置。
• 实施交错式搜索与运动规划，基于识别出的耗材位姿实时生成机器人轨迹，支持动态重新配置。
• 将枪头安装建模为“插孔”任务，并采用基于视觉变换器的分类器检测移液枪杆与枪头之间的对齐偏差。
• 应用开环与闭环视觉反馈：闭环反馈通过在连续枪头安装中传播校正结果，提升了系统的鲁棒性。
• 通过模拟多种枪头错位情况并测量校正步骤，收集真实世界训练数据用于视觉分类器，增强泛化能力。

实验结果

研究问题

• RQ1 协作机器人能否通过基于视觉的误差检测与校正，可靠地将一次性枪头安装到手动移液枪上？
• RQ2 直接示教与运动规划的结合如何实现非结构化实验环境中随机放置耗材的灵活部署？
• RQ3 与开环方法相比，闭环视觉反馈对枪头安装成功率与校正效率有何影响？
• RQ4 该系统在接近机器人工作空间边界时，对工作区边界效应与定位误差的容忍程度如何？
• RQ5 该系统能否与现有自动化系统（如RIPPS）集成，实现同步的液体分液与分析任务？

主要发现

• 系统在所有测试配置中均实现了稳定的枪头安装，仅在第三组枪头架配置中出现两次失败，原因系机器人工作空间边界附近存在较大绝对定位误差。
• 闭环视觉反馈减少了校正步骤并提高了成功率，尤其在距离参考点（ID 0）较远的枪头中，有效缓解了误差累积传播的影响。
• 视觉变换器分类器成功检测到对齐偏差，可视化中较暗的网格区域表示错位位姿所需的校正步骤更多；失败案例主要归因于识别错误与高定位误差。
• 系统展现出高度灵活性，可在狭窄、未经改造的实验空间中快速设置，无需安全围栏或专用耗材。
• 与RIPPS植物表型分析系统的集成，实现了对植物盆栽的同步化学分液，证实了与现有自动化工作流程的兼容性。
• 该方法实现了无需定制实验环境的高精度液体分液，高效支持低频次、高重复性的实验。