[논문 리뷰] Towards Foundational AI Models for Additive Manufacturing: Language Models for G-Code Debugging, Manipulation, and Comprehension

Anushrut Jignasu, Kelly Marshall외 4명|arXiv (Cornell University)|2023. 09. 04.

Additive Manufacturing and 3D Printing TechnologiesEngineering인용 수 3

한 줄 요약

이 논문은 적층 제조에서 G-code 이해, 디버깅 및 조작을 위한 최신 기초 대규모 언어 모델(Large Language Models, LLMs) 여섯 종류를 평가한다. GPT-4와 Claude-2가 Llama-2-70b 및 Starcoder와 같은 오픈소스 모델보다 G-code 이해, 기하학적 변환 및 오류 탐지에서 뛰어난 성능을 보였지만, 제한된 컨텍스트 창 크기와 훈련 데이터 편향으로 인해 전체 파일 컨텍스트 및 복잡한 3차원 기하학을 다루는 데 모든 모델가 어려움을 겪는다.

ABSTRACT

3D printing or additive manufacturing is a revolutionary technology that enables the creation of physical objects from digital models. However, the quality and accuracy of 3D printing depend on the correctness and efficiency of the G-code, a low-level numerical control programming language that instructs 3D printers how to move and extrude material. Debugging G-code is a challenging task that requires a syntactic and semantic understanding of the G-code format and the geometry of the part to be printed. In this paper, we present the first extensive evaluation of six state-of-the-art foundational large language models (LLMs) for comprehending and debugging G-code files for 3D printing. We design effective prompts to enable pre-trained LLMs to understand and manipulate G-code and test their performance on various aspects of G-code debugging and manipulation, including detection and correction of common errors and the ability to perform geometric transformations. We analyze their strengths and weaknesses for understanding complete G-code files. We also discuss the implications and limitations of using LLMs for G-code comprehension.

연구 동기 및 목표

• 기초 대규모 언어 모델(Large Language Models, LLMs)이 3D 프린팅을 위한 G-code를 이해하고 디버깅하며 조작할 수 있는 능력을 평가하기.
• 현재 LLM이 저수준 수치 제어 코드를 다룰 때의 강점과 한계를 규명하기.
• 컨텍스트 길이, 아키텍처 및 훈련 데이터가 G-code 작업에서 LLM 성능에 미치는 영향을 평가하기.
• LLM을 G-code 추론 및 변환을 위한 일반 목적 도구로 사용하는 것이 가능한지 탐색하기.
• AI 기반 적층 제조 워크플로우 향한未래 연구를 위한 기반 마련하기.

제안 방법

• LLM이 G-code 파일을 해석하고 수정할 수 있도록 구조화된 프롬프트를 설계 및 적용하기.
• 구문 오류 탐지, 설정 불일치 식별, 기하학적 변환(예: 회전, 스케일링) 등의 작업을 수행하여 모델 테스트하기.
• 부분 파일 분석을 방지하기 위해 명시적인 지침을 포함한 다중턴, 다중 청크 G-code 입력 사용하기.
• 모델 출력을 기준 참조 G-code 변환 및 오류 수정 결과와 비교하기.
• 6개의 LLM(GPT-4, Claude-2, Bard, Llama-2-70b, Starcoder 및 기타)을 대상으로 정성적 및 정량적 평가를 통해 모델 행동 분석하기.
• 재현 가능성을 확보하기 위해 전체 대화 기록, 스크린샷 및 생성된 G-code를 공개 GitHub 리포지터리에 공유하기.

실험 결과

연구 질문

• RQ1 기초 대규모 언어 모델(Large Language Models, LLMs)은 구문, 설정, 기하학적 문제와 같은 일반적인 G-code 오류를 효과적으로 탐지하고 수정할 수 있는가?
• RQ2 LLM은 완전한 G-code 파일에 대해 기하학적 변환(예: 회전, 스케일링)을 얼마나 잘 수행할 수 있는가?
• RQ3 컨텍스트 길이와 모델 아키텍처가 G-code에서 3차원 기하학을 추론하는 데 LLM의 능력에 얼마나 영향을 미치는가?
• RQ4 폐쇄소스 및 오픈소스 LLM은 G-code 이해 및 조작 작업에서 어떻게 비교되는가?
• RQ5 LLM이 생성한 G-code 수정에서 주요 실패 유형과 편향은 무엇인가?

주요 결과

• GPT-4는 G-code 디버깅, 변환 및 이해 작업 전반에서 가장 뛰어난 성능을 보였다.
• Claude-2는 더 긴 컨텍스트 길이 덕분에 다른 모델보다 뛰어났으며, 이는 전체 G-code 파일 처리 능력 향상에 기여했다.
• Llama-2-70b 및 Starcoder와 같은 오픈소스 모델은 복잡한 기하학적 작업에서 정확도와 일관성 측면에서 심각한 한계를 보였다.
• 모든 모델가 단일 스텝으로 완전한 G-code 파일을 파싱하는 데 어려움을 겪었으며, 다중 청크 입력을 처리할 때 지시사항을 잘못 해석하거나 忘却하는 경우가 많았다.
• Bard는 큐브를 벤치비 보트 모델로 잘못 해석하여, 3D 프린팅 전용 훈련 데이터 부족 또는 과적합 가능성의 징후로 보였다.
• 컨텍스트 길이 제약이 공간 추론 및 기하학적 이해 능력에 심각한 영향을 미쳤으며, 특히 단일 레이어를 초월한 3차원 구조에서는 더욱 두드러졌다.