[논문 리뷰] Designing an LLM-Based Copilot for Manufacturing Equipment Selection

Jonas Werheid, Oleksandr Melnychuk외 11명|arXiv (Cornell University)|2024. 01. 01.

Manufacturing Process and Optimization인용 수 1

한 줄 요약

이 논문은 제조 램프업 단계에서 자동화 장비 선택을 간소화하기 위해 Retrieval-Augmented Generation (RAG)을 활용한 사실 기반 LLM 기반 코파일럿을 제안한다. 구조화된 지식과 반구조화된 지식을 통합하여 엔지니어가 추적 가능하고 상태기반 워크플로우를 따라가도록 유도하며, 산업 테스트에서 22개의 장비 선택 중 19개가 정확하고, 22개 중 6개는 완전히 규정을 충족하는 추천을 이끌어냈다.

ABSTRACT

Effective decision-making in automation equipment selection is critical for reducing ramp-up time and maintaining production quality, especially in the face of increasing product variation and market demands. However, limited expertise and resource constraints often result in inefficiencies during the ramp-up phase when new products are integrated into production lines. Existing methods often lack structured and tailored solutions to support automation engineers in reducing ramp-up time, leading to compromises in quality. This research investigates whether large-language models (LLMs), combined with Retrieval-Augmented Generation (RAG), can assist in streamlining equipment selection in ramp-up planning. We propose a factual-driven copilot integrating LLMs with structured and semi-structured knowledge retrieval for three component types (robots, feeders and vision systems), providing a guided and traceable state-machine process for decision-making in automation equipment selection. The system was demonstrated to an industrial partner, who tested it on three internal use-cases. Their feedback affirmed its capability to provide logical and actionable recommendations for automation equipment. More specifically, among 22 equipment prompts analyzed, 19 involved selecting the correct equipment while considering most requirements, and in 6 cases, all requirements were fully met.

연구 동기 및 목표

• 자원과 전문 지식이 제한된 환경에서 복잡한 장비 선택으로 인한 장기적인 램프업 시간 문제를 해결하기 위해.
• 자동화 엔지니어링 분야에서 정적 규칙 기반 시스템과 일반적인 LLM 응답의 한계를 극복하기 위해.
• 생산 램프업 단계에서 로봇, 피더, 비전 시스템의 선택을 위한 투명하고 사실 기반이며 추적 가능한 의사결정 지원 시스템을 개발하기 위해.
• 학술 문헌, 산업 자료, 공급업체 데이터베이스 등 도메인 전문 지식을 구조화된 LLM 워크플로우에 통합하기 위해.
• 실제 산업 현장에서의 사용 사례를 바탕으로 시스템의 효과성을 입증하기 위해.

제안 방법

• API 호출을 통해 하위 구성 요소를 제어하는 주요 오케스트레이터 에이전트를 포함한 다중 에이전트 LLM 아키텍처를 사용한다.
• 관계형 지식 시스템과 반구조화된 지식 시스템(예: 공급업체 데이터베이스)을 통합하여 도메인 전문 지식 사실을 검색한다.
• Retrieval-Augmented Generation (RAG)을 사용하여 LLM의 응답을 사실 기반으로 하여 환상적 응답을 줄이고 신뢰성을 향상시킨다.
• 사용자를 추적 가능하고 구조화된 결정보도를 따라가도록 유도하기 위해 상태기반 프로세스를 구현한다.
• 학술 논문, 강의 자료, 산업 데이터셋에서 수집한 정제된 지식을 기반으로 시스템을 훈련하고 배포한다.
• 세 가지 실제 산업 현장 램프업 사례를 대상으로 산업 테스트를 통해 시스템을 검증한다.

실험 결과

연구 질문

• RQ1 RAG를 활용한 LLM 기반 코파일럿은 제조 램프업 단계에서 장비 선택의 정확도와 추적 가능성을 향상시킬 수 있는가?
• RQ2 어느 정도의 사실 기반 지식 통합이 자동화 엔지니어링 분야에서 환상적 응답을 줄이고 추천 품질을 향상시키는 데 기여하는가?
• RQ3 伝통적 방법과 비교해 실제 산업 환경에서 시스템의 성능은 얼마나 우수한가?
• RQ4 구조화된 지식 검색은 올바른 장비 유형과 서브유형 선택에 어떤 영향을 미치는가?
• RQ5 정밀도, 하중, 속도 등의 복수의 요구사항을 동시에 충족하는 복잡한 선택을 투명하고 반복 가능한 방식으로 지원할 수 있는가?

주요 결과

• 22개의 장비 프롬프트 중 19개에서 대부분의 요구사항을 고려한 정확한 장비 선택이 이루어졌다.
• 22개의 사례 중 6개에서는 정밀도, 하중, 속도 등 모든 지정된 요구사항이 추천된 장비에 완전히 충족되었다.
• 산업 현장 피드백을 통해 시스템이 논리적이고 실행 가능하며 추적 가능한 추천을 생성할 수 있다는 것이 확인되었다.
• 시스템은 정밀한 기술적 제약 조건을 바탕으로 SCARA 로봇, 아티큘레이티드 암 로봇 등의 적절한 장비 서브유형 선택에서 뛰어난 성능을 보였다.
• 코파일럿은 학술 자료, 산업 자료, 공급업체 지식을 통합하여 신뢰성 있고 현지화된, 국제적으로도 적용 가능한 장비 추천을 생성했다.
• 한계점으로는 레이아웃 설계 및 램프업 실행 단계와의 통합에 대한 지원이 부족하여未래 확장 가능성이 존재한다.