[논문 리뷰] A Guide to Large Language Models in Modeling and Simulation: From Core Techniques to Critical Challenges

Philippe J. Giabbanelli|arXiv (Cornell University)|2026. 02. 05.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

이 논문은 프랙티셔너 중심의 LLM 활용 가이드를 제시하며 모델링 및 시뮬레이션에서 핵심 기술, 흔한 함정, 실용적 고려사항을 프롬프트, 하이퍼파라미터, 보강, 평가에 걸쳐 상세히 설명한다.

ABSTRACT

Large language models (LLMs) have rapidly become familiar tools to researchers and practitioners. Concepts such as prompting, temperature, or few-shot examples are now widely recognized, and LLMs are increasingly used in Modeling & Simulation (M&S) workflows. However, practices that appear straightforward may introduce subtle issues, unnecessary complexity, or may even lead to inferior results. Adding more data can backfire (e.g., deteriorating performance through model collapse or inadvertently wiping out existing guardrails), spending time on fine-tuning a model can be unnecessary without a prior assessment of what it already knows, setting the temperature to 0 is not sufficient to make LLMs deterministic, providing a large volume of M&S data as input can be excessive (LLMs cannot attend to everything) but naive simplifications can lose information. We aim to provide comprehensive and practical guidance on how to use LLMs, with an emphasis on M&S applications. We discuss common sources of confusion, including non-determinism, knowledge augmentation (including RAG and LoRA), decomposition of M&S data, and hyper-parameter settings. We emphasize principled design choices, diagnostic strategies, and empirical evaluation, with the goal of helping modelers make informed decisions about when, how, and whether to rely on LLMs.

연구 동기 및 목표

• LLMs가 모델링 및 시뮬레이션 파이프라인에 어떻게 적합한지와 이를 효과적으로 사용하기 위해 실무자가 알아야 할 것들을 명확히 한다.
• 프롬프트 작성, 데이터 처리, 평가에서 재현성과 투명성에 영향을 주는 엔지니어링 결정들을 강조한다.
• M&S 결과에 영향을 주는 일반적인 오해와 비결정성 이슈를 식별한다.
• LLM 기반 M&S 시스템에서의 새로운 개념으로서 망각, 역할 프롬프트, 다중 모달 입력을 논의한다.
• 문제를 분해하고 M&S 맥 context에서 LLM 지식을 평가하기 위한 실용적 연습 및 가이드를 제공한다.

제안 방법

• 프롬프트와 하이퍼파라미터와 같은 기본 LLM 구성 요소를 검토한다.
• Retrieval-Augmented Generation(RAG) 및 맥락 지식과 같은 보강 기법을 설명한다.
• 비결정성 원인과 완화 전략을 논의한다.
• LLMs에 과도하게 의존하고 해결책을 잘못 다시 발명하는 것에 경고한다.
• 모델과 출력에 대한 표현 방식 선택과 그것이 성능에 미치는 영향을 설명한다.
• 프롬프트 커뮤니케이션, 재현성, 프롬프트 설계의 자동화에 관한 실용적 지침을 제공한다.

실험 결과

연구 질문

• RQ1 LLMs를 모델링 및 시뮬레이션에 효과적으로 사용하기 위해 관련된 핵심 구성 요소와 엔지니어링 결정은 무엇인가?
• RQ2 프롬프트 전략, 하이퍼파라미터, 보강 기법이 M&S 작업의 재현성, 성능, 투명성에 어떤 영향을 미치는가?
• RQ3 M&S에서 LLM에 관한 일반적 실수와 오해는 무엇이며 어떻게 완화할 수 있는가?
• RQ4 모델 구조와 출력의 표현이 M&S 환경에서 LLM 성능에 어떤 영향을 미치는가?
• RQ5 연구자들이 LLM 기반 M&S 워크플로를 비판적으로 판단하도록 돕는 실용적 가이드라인과 연습은 무엇인가?

주요 결과

• 프롬프트는 중심 인터페이스이다; 작업 분해, 검증 프롬프트, 명시적 작업 정의가 신뢰성을 향상시킨다.
• 온도와 샘플링 전략 같은 디코딩 하이퍼파라미터가 출력과 재현성에 상당한 영향을 미치며 효과는 LLM과 작업에 따라 다르다.
• 컨텍스트 보강(RAG)은 검색 품질과 통합에 따라 성능을 돕거나 저해할 수 있어 주의 깊은 프롬프트 작성과 평가가 필요하다.
• 모델 표현(예: 엣지 리스트 대 인접 행렬)은 LLM 성능에 실질적 영향을 미칠 수 있으며 표현 간 경험적 평가가 권장된다.
• 비결정성 원천은 온도 이상으로 확장된다; 강건한 M&S 결과를 위해서는 철저한 평가와 완화가 필요하다.
• 프롬프트 설계의 자동화가 증가하고 있지만 작업 명세와 해석에는 여전히 인간의 입력이 필수적이다.