[논문 리뷰] LLM-3D Print: Large Language Models To Monitor and Control 3D Printing

Yayati Jadhav, P. S. Pak외 1명|arXiv (Cornell University)|2024. 08. 26.

Manufacturing Process and Optimization인용 수 5

한 줄 요약

이 논문은 각 층 이후 이미지 분석을 사용하여 결함을 탐지하고, 교정을 계획하며, 실시간으로 3D 프린팅 파라미터를 자율적으로 조정하는 다중 에이전트 LLM 프레임워크를 제안합니다.

ABSTRACT

Industry 4.0 has revolutionized manufacturing by driving digitalization and shifting the paradigm toward additive manufacturing (AM). Fused Deposition Modeling (FDM), a key AM technology, enables the creation of highly customized, cost-effective products with minimal material waste through layer-by-layer extrusion, posing a significant challenge to traditional subtractive methods. However, the susceptibility of material extrusion techniques to errors often requires expert intervention to detect and mitigate defects that can severely compromise product quality. While automated error detection and machine learning models exist, their generalizability across diverse 3D printer setups, firmware, and sensors is limited, and deep learning methods require extensive labeled datasets, hindering scalability and adaptability. To address these challenges, we present a process monitoring and control framework that leverages pre-trained Large Language Models (LLMs) alongside 3D printers to detect and address printing defects. The LLM evaluates print quality by analyzing images captured after each layer or print segment, identifying failure modes and querying the printer for relevant parameters. It then generates and executes a corrective action plan. We validated the effectiveness of the proposed framework in identifying defects by comparing it against a control group of engineers with diverse AM expertise. Our evaluation demonstrated that LLM-based agents not only accurately identify common 3D printing errors, such as inconsistent extrusion, stringing, warping, and layer adhesion, but also effectively determine the parameters causing these failures and autonomously correct them without any need for human intervention.

연구 동기 및 목표

• 대형 라벨링된 데이터 세트 없이 프린터/제작 변동성 속에서 FDM 3D 프린팅의 신뢰성 향상을 촉진한다.
• LLMs를 활용하여 결함을 탐지하고 프린팅 중에 자율적으로 교정 조치를 계획하고 실행하는 프레임워크를 개발한다.
• 자동 주석 및 파라미터 튜닝을 통한 프린터 간 적응성 및 향상된 추적성을 시연한다.

제안 방법

• 각 인쇄 층 후에 상부 및 전면 층 이미지를 캡처하고 다중 모달 LVLM/LLM(GPT-4o)으로 분석하여 결함을 식별한다.
• 프린터 API를 통해 교정을 구성하기 위해 명확한 계획, 정보 수집, 실행 에이전트를 가진 감독 다중 에이전트 LLM 프레임워크를 활용한다.
• 계획을 G-code/API 동작으로 변환하고 프린터 피드백에 따라 적응하는 실행자를 포함하는 ReAct 기반 에이전트 실행을 구현한다.
• 모듈 활성화를 조정하고 효율적인 정보 흐름을 보장하기 위해 감독 에이전트에 동적 상태 사전을 유지한다.
• 프린터(Ender 5 Plus)를 Klipper, Moonraker, 및 Mainsail을 통해 인터페이스하고, 두 대의 카메라와 API 기반 파라미터 조정을 수행한다.
• PLA 및 TPU를 대상으로 단일 층 및 다층 프린트를 평가하여 결함 탐지, 파라미터 최적화 및 프린트 품질 개선을 평가한다.

Figure 1: *

실험 결과

연구 질문

• RQ1 다양한 프린터와 재료에 걸쳐 각 층 이후 이미지에서 LLM 기반 감독자가 일반적인 3D 프린팅 결함을 탐지할 수 있는가?
• RQ2 프레임워크가 인간의 개입 없이 자율적으로 교정 파라미터를 계획하고 실행할 수 있는가?
• RQ3 다양한 수준의 제조(AM) 전문 지식을 가진 인간 엔지니어와 비교하여 LLM 기반 접근 방식의 성능은 어느 정도인가?
• RQ4 시스템은 사전 데이터 세트 없이 서로 다른 재료(PLA, TPU) 및 프린트 기하학(렌치, 양각된 텍스트)에서 일반화할 수 있는가?

주요 결과

• LLM 기반 에이전트는 일관되지 않은 압출, 문자열 잔류, 변형 및 층 접착 등 결함을 정확하게 식별한다.
• 프레임워크는 작동 실패를 야기하는 파라미터를 자율적으로 결정하고 조정하여 기본값 대비 인쇄 품질을 향상시킨다.
• 단일층 최적화는 PLA 및 TPU에 대해 점유율 및 표면 품질을 개선하는 속도, 흐름 속도, 압력 어드밴스, 리트랙션 등의 파라미터 권고를 보여준다.
• 다층 인쇄는 기본 인쇄에 비해 가장자리 정의, 표면 마감 및 층 접착이 향상되는 것을 보인다.
• 감독 모듈은 7개의 전문 에이전트를 효과적으로 조정하고 상세한 주석을 통해 프로세스 추적 가능성을 유지한다.
• 이 접근법은 부품을 폐기하지 않고 층별 교정 조치를 가능하게 하여 재료 낭비를 줄이고 인증 가능 추적성을 가능하게 한다.

Figure 2: Schematic of the Proposed Framework. The process begins with a G-code file (a) being uploaded to the 3D printer, which is equipped with two frame-mounted cameras (b). After each layer is printed, the extruder moves to the home position, and two images of the current print state are capture