[论文解读] A Guide to Large Language Models in Modeling and Simulation: From Core Techniques to Critical Challenges

Philippe J. Giabbanelli|arXiv (Cornell University)|Feb 5, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

本论文为从业者聚焦的在建模与仿真中使用大规模语言模型（LLMs）的指南，详细介绍核心技术、常见陷阱以及在提示、超参数、增强与评估等方面的实际考虑。

ABSTRACT

Large language models (LLMs) have rapidly become familiar tools to researchers and practitioners. Concepts such as prompting, temperature, or few-shot examples are now widely recognized, and LLMs are increasingly used in Modeling & Simulation (M&S) workflows. However, practices that appear straightforward may introduce subtle issues, unnecessary complexity, or may even lead to inferior results. Adding more data can backfire (e.g., deteriorating performance through model collapse or inadvertently wiping out existing guardrails), spending time on fine-tuning a model can be unnecessary without a prior assessment of what it already knows, setting the temperature to 0 is not sufficient to make LLMs deterministic, providing a large volume of M&S data as input can be excessive (LLMs cannot attend to everything) but naive simplifications can lose information. We aim to provide comprehensive and practical guidance on how to use LLMs, with an emphasis on M&S applications. We discuss common sources of confusion, including non-determinism, knowledge augmentation (including RAG and LoRA), decomposition of M&S data, and hyper-parameter settings. We emphasize principled design choices, diagnostic strategies, and empirical evaluation, with the goal of helping modelers make informed decisions about when, how, and whether to rely on LLMs.

研究动机与目标

• 澄清LLMs如何融入建模与仿真流程，以及从业者需要了解的有效使用要点。
• 突出提示、数据处理与评估中的工程决策对可复现性与透明度的影响。
• 识别影响M&S结果的常见误解与非确定性问题。
• 讨论如遗忘、角色提示与多模态输入等在基于LLM的M&S系统中的新兴概念。
• 提供实用练习与指南，以分解问题并评估M&S情境中的LLM知识。

提出的方法

• 回顾提示与超参数等基础LLM组件。
• 解释如检索增强生成（RAG）与情境知识等增强技术。
• 讨论非确定性来源及缓解策略。
• 警惕过分依赖LLMs及对解决方案的次优“重新发明”。
• 描述模型与输出的表达选择及其对性能的影响。
• 提供关于提示沟通、可重复性与提示设计自动化的实际指南。

实验结果

研究问题

• RQ1 在建模与仿真中有效使用LLMs所涉及的核心组件与工程决策是什么？
• RQ2 提示策略、超参数与增强技术如何影响可复现性、性能与透明度在M&S任务中的表现？
• RQ3 围绕LLMs在M&S中的常见错误与误解有哪些，如何缓解？
• RQ4 模型结构与输出的表示方式如何影响LLM在M&S情境中的性能？
• RQ5 哪些实用指南与练习可以帮助研究人员对LLM驱动的M&S工作流进行批判性推理？

主要发现

• 提示是核心界面；任务分解、验证提示与明确的任务定义能提升可靠性。
• 诸如温度与采样策略等解码超参数显著影响输出与可重复性，效果因LLM和任务而异。
• 上下文增强（RAG）在检索质量与整合方式影响下可能有利也可能有害，需要仔细的提示设计与评估。
• 模型表示（如边列表 vs 邻接矩阵）可能实质性影响LLM性能；建议对不同表示进行经验评估。
• 非确定性来源不仅限于温度；需要全面评估与缓解以获得稳健的M&S结果。
• 提示设计的自动化在增长，但对任务规范与解读，仍需要人工输入。