[论文解读] Towards Foundational AI Models for Additive Manufacturing: Language Models for G-Code Debugging, Manipulation, and Comprehension

Anushrut Jignasu, Kelly Marshall+4 more|arXiv (Cornell University)|Sep 4, 2023

Additive Manufacturing and 3D Printing TechnologiesEngineering被引用 3

一句话总结

本文评估了六种先进的基础大语言模型（LLMs）在增材制造中理解、调试和操作G代码的能力。结果表明，GPT-4和Claude-2在G代码理解、几何变换和错误检测方面优于开源模型如Llama-2-70b和Starcoder，尽管所有模型在处理完整文件上下文和复杂3D几何结构时均表现不佳，原因在于上下文窗口有限以及训练数据偏差。

ABSTRACT

3D printing or additive manufacturing is a revolutionary technology that enables the creation of physical objects from digital models. However, the quality and accuracy of 3D printing depend on the correctness and efficiency of the G-code, a low-level numerical control programming language that instructs 3D printers how to move and extrude material. Debugging G-code is a challenging task that requires a syntactic and semantic understanding of the G-code format and the geometry of the part to be printed. In this paper, we present the first extensive evaluation of six state-of-the-art foundational large language models (LLMs) for comprehending and debugging G-code files for 3D printing. We design effective prompts to enable pre-trained LLMs to understand and manipulate G-code and test their performance on various aspects of G-code debugging and manipulation, including detection and correction of common errors and the ability to perform geometric transformations. We analyze their strengths and weaknesses for understanding complete G-code files. We also discuss the implications and limitations of using LLMs for G-code comprehension.

研究动机与目标

• 评估基础大语言模型在3D打印中理解、调试和操作G代码的能力。
• 识别当前大语言模型在处理低层级数值控制代码时的优势与局限性。
• 评估上下文长度、模型架构和训练数据对大语言模型在G代码任务中表现的影响。
• 探索将大语言模型作为通用工具用于G代码推理与转换的可行性。
• 为未来人工智能驱动的增材制造工作流程研究提供基础。

提出的方法

• 设计并应用结构化提示，使大语言模型能够解析和修改G代码文件。
• 在包括语法错误检测、配置不匹配识别以及几何变换（如旋转、缩放）在内的任务上测试模型。
• 使用多轮、多块G代码输入，并辅以明确指令，防止对部分文件过早分析。
• 将模型输出与真实G代码转换结果和错误修正进行对比。
• 通过定性和定量评估，对六种大语言模型（GPT-4、Claude-2、Bard、Llama-2-70b、Starcoder及其他）进行行为分析。
• 通过公开的GitHub仓库共享完整聊天记录、截图和生成的G代码，以确保可复现性。

实验结果

研究问题

• RQ1 基础大语言模型能否有效检测并修正常见的G代码错误，如语法错误、配置错误和几何问题？
• RQ2 大语言模型在完整G代码文件上执行几何变换（如旋转、缩放）的能力如何？
• RQ3 上下文长度和模型架构在多大程度上限制了大语言模型从G代码中推理3D几何结构的能力？
• RQ4 封闭源与开源大语言模型在G代码理解与操作任务中的表现有何差异？
• RQ5 大语言模型生成的G代码修改中，主要的失败模式和偏差是什么？

主要发现

• GPT-4在G代码调试、转换和理解任务中表现出最强的综合性能。
• Claude-2表现优于其他模型，尤其得益于其更长的上下文长度，使其能更好地处理完整G代码文件。
• 开源模型如Llama-2-70b和Starcoder在准确性和一致性方面表现出显著局限性，尤其在复杂几何任务中。
• 所有模型均难以一次性解析完整的G代码文件，处理多块输入时经常误解或遗忘指令。
• Bard错误地将一个立方体解释为Benchy船模型，表明可能存在过拟合或缺乏3D打印特定训练数据。
• 上下文长度限制严重制约了空间推理和几何理解能力，尤其在处理单层以上的3D结构时。