[论文解读] A novel integrated industrial approach with cobots in the age of industry 4.0 through conversational interaction and computer vision

Andrea Pazienza, Nicola Macchiarulo+7 more|arXiv (Cornell University)|Feb 16, 2024

Advanced Manufacturing and Logistics Optimization参考文献 9被引用 5

一句话总结

本文提出一个集成框架，结合 cobots、可适应末端执行器、对话界面和计算机视觉，以在 Industry 4.0 场景中实现人机协作，并通过用例场景进行演示。

ABSTRACT

From robots that replace workers to robots that serve as helpful colleagues, the field of robotic automation is experiencing a new trend that represents a huge challenge for component manufacturers. The contribution starts from an innovative vision that sees an ever closer collaboration between Cobot, able to do a specific physical job with precision, the AI world, able to analyze information and support the decision-making process, and the man able to have a strategic vision of the future.

研究动机与目标

• 推动协作机器人、人工智能和人类在 Industry 4.0 中的更紧密合作。
• 开发一个智能化的 cyber-physical 框架，整合协作机器人、可调适的末端执行器、基于 NLP 的对话界面和计算机视觉。
• 通过包装和质量控制等制造过程中的真实世界用例演示该框架。
• 展示这些技术如何简化生产线上的人机交互和 ERP 集成。

提出的方法

• 提出一个四组件架构：协作机器人、可调适的末端执行器、计算机视觉模块和对话界面。
• 开发一个 Web 应用程序（Spring Boot），将用户命令转化为机器动作。
• 通过 Alexa 使用语音命令，以及通过 WebEx Teams 和 QuestIT Algho 进行聊天界面来控制协作机器人。
• 使用 OpenCV/TensorFlow 实现对象识别，并对 Faster R-CNN 模型在 COCO 上进行微调，以实现实时检测。
• 使用 AWS Lambda 进行无服务器命令处理，并使用 Fanuc SDK 在协作机器人上执行 Teach Pendant 脚本。
• 在 Algho 中启用对话表单以自动填写数据并连接到 Web 服务以实现执行器控制。

实验结果

研究问题

• RQ1 如何将协作机器人有效集成具有 AI 感知和基于 NLP 的对话界面的能力，以支持制造工作流程？
• RQ2 哪种架构设置能够实现人类操作员、协作机器人和 ERP 系统之间的无缝通信？
• RQ3 计算机视觉和可调适末端执行器能否在实际用例（如包装和质量控制）中提升协作任务？
• RQ4 对话表单和自动填写在降低与工业自动化交互所需的操作员技能方面的作用是什么？

主要发现

• 一个协调协作机器人、可调适末端执行器、基于 NLP 的对话界面和计算机视觉的四组件智能 cyber-physical 框架是可行的。
• 基于网络的集成层可以通过 Fanuc Teach Pendant 工作流将自然语言命令转换为机器人脚本。
• 通过在 COCO 上对 Faster R-CNN 使用 Inception V2 进行微调并搭配生产场景中的相机实现实时目标检测。
• 用例展示了机器与 ICT/ERP 系统之间改进的通信，从而实现更灵活的生产管理。
• 对话界面使操作员无需专门的机器人技能即可与系统互动，支持智能制造中的人机协作（HRC）。
• 作者设想自动化、AI 与物联网的长期融合，面向数字孪生和全公司范围的自治决策 AI。