[논문 리뷰] Large Language Model Agent as a Mechanical Designer

Yayati Jadhav, Amir Barati Farimani|arXiv (Cornell University)|2024. 04. 26.

Model-Driven Software Engineering Techniques인용 수 8

한 줄 요약

논문은 프리트레인된 대형 언어 모델을 미세조정 없이 FEM 모듈과 결합하여 2D 트러스 설계를 자율적으로 생성, 평가, 정제하며 NSGA-II보다 수렴 속도가 빨랐고 FEM 평가 수가 적으며 모델 크기와 온도가 성능에 영향을 준다.

ABSTRACT

Conventional mechanical design follows an iterative process in which initial concepts are refined through cycles of expert assessment and resource-intensive Finite Element Method (FEM) analysis to meet performance goals. While machine learning models have been developed to assist in parts of this process, they typically require large datasets, extensive training, and are often tailored to specific tasks, limiting their generalizability. To address these limitations, we propose a framework that leverages a pretrained Large Language Model (LLM) in conjunction with an FEM module to autonomously generate, evaluate, and refine structural designs based on performance specifications and numerical feedback. The LLM operates without domain-specific fine-tuning, using general reasoning to propose design candidates, interpret FEM-derived performance metrics, and apply structurally sound modifications. Using 2D truss structures as a testbed, we show that the LLM can effectively navigate highly discrete and multi-faceted design spaces, balance competing objectives, and identify convergence when further optimization yields diminishing returns. Compared to Non-dominated Sorting Genetic Algorithm II (NSGA-II), our method achieves faster convergence and fewer FEM evaluations. Experiments with varying temperature settings (0.5, 1.0, 1.2) and model sizes (GPT-4.1 and GPT-4.1-mini) indicate that smaller models yield higher constraint satisfaction with fewer steps, while lower temperatures enhance design consistency. These results establish LLMs as a promising new class of reasoning-based, natural language-driven optimizers for autonomous design and iterative structural refinement.

연구 동기 및 목표

• 기계 설계 자동화를 위한 대규모 작업 특화 데이터셋 의존도와 광범위한 파인 튜닝의 필요성을 줄이는 것을 동기로 삼는다.
• 프리트레인된 LLM과 FEM 모듈을 결합하여 자율적으로 설계하고 성능 사양에 따라 구조를 정제하는 프레임워크를 제안한다.
• 2D 트러스 테스트베드에서 프레임워크를 평가하여 이산 설계 공간의 탐색과 수렴 동작을 평가한다.

제안 방법

• 도메인 특화 파인튜닝 없이 프리트레인된 LLM을 일반적 추론을 통해 설계 후보를 생성한다.
• 제안된 설계에 대한 성능 지표를 계산하기 위해 FEM 모듈을 통합한다.
• FEM 피드백을 LLM 내부에서 해석하여 구조적으로 건전한 수정 방향을 제시한다.
• 수렴 속도와 FEM 평가 수 측면에서 LLM 기반 설계를 NSGA-II와 비교한다.
• 온도 설정(0.5, 1.0, 1.2)과 모델 크기(GPT-4.1 및 GPT-4.1-mini)가 결과의 품질과 일관성에 미치는 영향을 탐구한다.

실험 결과

연구 질문

• RQ1 사전 학습된 LLM이 미세 조정 없이도 매우 이산적이고 다면적인 구조 설계 공간을 탐색할 수 있는가?
• RQ2 LLM 기반 접근 방식이 상충하는 설계 목표를 균형 잡고 추가 최적화에서 수익이 감소할 때 수렴하는가?
• RQ3 수렴 속도와 FEM 평가 수 측면에서 LLM 기반 방법이 NSGA-II와 어떻게 비교되는가?
• RQ4 온도 설정과 모델 크기가 제약 충족 및 설계 일관성에 미치는 영향은 무엇인가?

주요 결과

• LLM 접근법은 2D 트러스 작업에서 NSGA-II보다 더 빠른 수렴과 더 적은 FEM 평가를 달성한다.
• 작은 모델은 더 큰 모델에 비해 더 적은 단계로 제약 충족도를 높인다.
• 낮은 온도 설정이 반복 간 설계 일관성을 향상시키는 경향이 있다.
• 이 프레임워크는 LLM이 추론 기반의 자연어 주도 최적화 도구로 자율 설계와 반복 정제를 수행할 수 있음을 시연한다.