[論文レビュー] LLM-3D Print: Large Language Models To Monitor and Control 3D Printing

Yayati Jadhav, P. S. Pak+1 more|arXiv (Cornell University)|Aug 26, 2024

Manufacturing Process and Optimization被引用数 5

ひとこと要約

本論文は、各層後に画像分析を用いて欠陥を検出し、修正計画を立て、リアルタイムで3Dプリントパラメータを自律的に調整するマルチエージェントLLMフレームワークを提案する。

ABSTRACT

Industry 4.0 has revolutionized manufacturing by driving digitalization and shifting the paradigm toward additive manufacturing (AM). Fused Deposition Modeling (FDM), a key AM technology, enables the creation of highly customized, cost-effective products with minimal material waste through layer-by-layer extrusion, posing a significant challenge to traditional subtractive methods. However, the susceptibility of material extrusion techniques to errors often requires expert intervention to detect and mitigate defects that can severely compromise product quality. While automated error detection and machine learning models exist, their generalizability across diverse 3D printer setups, firmware, and sensors is limited, and deep learning methods require extensive labeled datasets, hindering scalability and adaptability. To address these challenges, we present a process monitoring and control framework that leverages pre-trained Large Language Models (LLMs) alongside 3D printers to detect and address printing defects. The LLM evaluates print quality by analyzing images captured after each layer or print segment, identifying failure modes and querying the printer for relevant parameters. It then generates and executes a corrective action plan. We validated the effectiveness of the proposed framework in identifying defects by comparing it against a control group of engineers with diverse AM expertise. Our evaluation demonstrated that LLM-based agents not only accurately identify common 3D printing errors, such as inconsistent extrusion, stringing, warping, and layer adhesion, but also effectively determine the parameters causing these failures and autonomously correct them without any need for human intervention.

研究の動機と目的

• 大規模なラベル付きデータセットを用いずに、プリンタのばらつきに起因するFDM 3Dプリントの信頼性向上を動機づける。
• 欠陥を検出し、印刷中に自律的に是正 actions を計画・実行するフレームワークをLLMsを活用して開発する。
• 自動的なコメントとパラメータ調整を通じて、プリンタ横断の適応性とトレーサビリティの向上を示す。

提案手法

• 各プリント層の後にトップ層とフロント層の画像を取得し、マルチモーダル LVLM/LLM（GPT-4o）で分析して欠陥を特定する。
• 計画・情報収集・実行エージェントに分かれた監督型マルチエージェントLLMフレームワークを用いて、プリンタAPI経由で是正を統括する。
• ReActベースのエージェント実行を実装し、実行者が計画をGコード/APIアクションへ翻訳し、プリンタのフィードバックに基づいて適応する。
• 監督エージェントに動的な状態ディクショナリを維持してモジュールの活性化を調整し、情報の流れを効率化する。
• プリンタ（Ender 5 Plus）をKlipper、Moonraker、Mainsailを介して、2台のカメラとAPI駆動のパラメータ調整でインタフェースする。
• PLAおよびTPUを対象とした単層および多層プリントを評価し、欠陥検出、パラメータ最適化、およびプリント品質の改善を評価する。

Figure 1: *

実験結果

リサーチクエスチョン

• RQ1 LLMベースの監督が、層後画像から異なるプリンタおよび材料に跨る一般的な3Dプリント欠陥を検出できるか？
• RQ2 人間の介入なしで欠除を是正するパラメータ調整を自動的に計画・実行できるか？
• RQ3 AM専門知識の異なる人間のエンジニアと比較して、LLMベースのアプローチはどの程度の性能を示すか？
• RQ4 事前データセットなしで、PLAやTPUなど異なる材料およびねじレンチ・浮き文字などのプリント形状へ一般化できるか？

主な発見

• LLMベースのエージェントは、押出の不一致、スプリンギング、反り、層間の付着などの欠陥を正確に識別する。
• フレームワークは故障を引き起こすパラメータを自動的に特定・調整し、ベースラインと比較してプリント品質を改善する。
• 単層最適化は、PLAおよびTPUにおいて、占有率と表面品質を改善するパラメータ推奨（速度、流量、プレッシャーアドバンス、リトラクション）を示す。
• 多層プリントは、エッジ定義、表面仕上がり、層間の付着がベースラインのプリントと比較して改善されることを示す。
• 監督モジュールは七つの専門エージェントを効果的に調整し、詳細なコメントを通じてプロセスのトレーサビリティを保持する。
• このアプローチは部品を破棄せずに層ごとの是正行動を可能にし、材料ロスを削減し認証トレーサビリティを実現する。

Figure 2: Schematic of the Proposed Framework. The process begins with a G-code file (a) being uploaded to the 3D printer, which is equipped with two frame-mounted cameras (b). After each layer is printed, the extruder moves to the home position, and two images of the current print state are capture