[논문 리뷰] A novel integrated industrial approach with cobots in the age of industry 4.0 through conversational interaction and computer vision

Andrea Pazienza, Nicola Macchiarulo외 7명|arXiv (Cornell University)|2024. 02. 16.

Advanced Manufacturing and Logistics Optimization참고 문헌 9인용 수 5

한 줄 요약

본 논문은 Industry 4.0 설정에서 인간-로봇 협업을 가능하게 하기 위해 cobots, 적응 가능한 엔드 이펙터, 대화형 인터페이스, 컴퓨터 비전을 결합한 통합 프레임워크를 제안하며, 활용 사례를 통해 입증한다.

ABSTRACT

From robots that replace workers to robots that serve as helpful colleagues, the field of robotic automation is experiencing a new trend that represents a huge challenge for component manufacturers. The contribution starts from an innovative vision that sees an ever closer collaboration between Cobot, able to do a specific physical job with precision, the AI world, able to analyze information and support the decision-making process, and the man able to have a strategic vision of the future.

연구 동기 및 목표

• Industry 4.0에서 코봇, AI, 인간 간의 더 긴밀한 협업을 촉진한다.
• 코봇, 적응 가능한 엔드 이펙터, NLP 기반 대화 인터페이스, 컴퓨터 비전을 통합하는 지능형 사이버 물리 프레임워크를 개발한다.
• 패키징 및 품질 관리와 같은 제조 공정의 실제 사용 사례를 통해 프레임워크를 시연한다.
• 이 기술들이 생산 라인의 인간-기계 상호 작용 및 ERP 통합을 간소화할 수 있는 방법을 보여준다.

제안 방법

• 코봇, 적응 가능한 엔드 이펙터, 컴퓨터 비전 모듈, 대화 인터페이스의 네 가지 구성요소 아키텍처를 제안한다.
• 사용자 명령을 기계 동작으로 변환하는 웹 애플리케이션(Spring Boot)을 개발한다.
• 코봇 제어를 위해 Alexa를 통한 음성 명령과 WebEx Teams 및 QuestIT Algho를 통한 채팅 인터페이스를 사용한다.
• 실시간 탐지를 위해 OpenCV/TensorFlow로 객체 인식과 COCO에 대해 미세 조정된 Faster R-CNN 모델을 구현한다.
• 서버리스 명령 처리를 위해 AWS Lambda를 사용하고 현장 로봇의 Teach Pendant 스크립트를 실행하기 위해 Fanuc SDK를 사용한다.
• Actuator 제어를 위한 웹 서비스에 연결하고 데이터를 자동으로 채우도록 Algho에서 대화형 양식을 활성화한다.

실험 결과

연구 질문

• RQ1 코봇이 AI 기반 인지 및 NLP 기반 대화 인터페이스와 효과적으로 통합되어 제조 워크플로를 지원할 수 있을까?
• RQ2 인간 운용자, 코봇, ERP 시스템 간의 매끄러운 통신을 가능하게 하는 아키텍처 구성은 무엇인가?
• RQ3 컴퓨터 비전과 적응 가능한 엔드 이펙터가 포장 및 품질 관리와 같은 실제 사용 사례에서 협업 작업을 향상시킬 수 있을까?
• RQ4 대화형 양식과 자동 양식 채우기가 산업 자동화와 상호 작용하는 작업자의 기술 요구를 줄이는 데 어떤 역할을 하는가?

주요 결과

• 코봇, 적응 가능한 엔드 이펙터, NLP 기반 대화 인터페이스, 컴퓨터 비전을 조정하는 네 가지 구성요소의 지능형 사이버 물리 프레임워크가 가능하다.
• 웹 기반 통합 계층이 Fanuc Teach Pendant 워크플로를 통해 자연어 명령을 로봇 스크립트로 변환할 수 있다.
• 실시간 객체 감지는 COCO에서 Inception V2로 미세 조정된 Faster R-CNN을 카메라와 함께 생산 시나리오에서 사용하여 달성된다.
• 사례 연구는 기계와 ICT/ERP 시스템 간의 개선된 커뮤니케이션을 보여주어 더 유연한 생산 관리가 가능함을 시연한다.
• 대화형 인터페이스는 운용자가 특수 로봇 공학 기술 없이 시스템과 상호 작용하도록 허용하여 스마트 제조에서 인간-로봇 협력(HRC)을 지원한다.
• 저자들은 자동화, AI, IoT의 장기적 융합을 통해 기업 전반의 자율 의사 결정을 위한 디지털 트윈으로 향하는 비전을 제시한다.