[论文解读] Is the Juice Worth the Squeeze? Machine Learning (ML) In and For Agent-Based Modelling (ABM)

Johannes Dahlke, Andreas Pyka+4 more|arXiv (Cornell University)|Jan 1, 2020

Innovation Diffusion and Forecasting参考文献 64被引用 7

一句话总结

本文对190项研究进行了系统性文献回顾，分析机器学习（ML）在基于代理的模型（ABM）中的应用，识别出两大主要用途：通过经验学习建模自适应代理，以及分析ABM结果。研究结论指出，ML在特定情境下可增强ABM，尤其是在可计算性、高维模型和目标导向的代理行为方面，但同时警告避免过度使用，因其可能导致计算成本增加和解释能力下降。

ABSTRACT

In recent years, many scholars praised the seemingly endless possibilities of using machine learning (ML) techniques in and for agent-based simulation models (ABM). To get a more comprehensive understanding of these possibilities, we conduct a systematic literature review (SLR) and classify the literature on the application of ML in and for ABM according to a theoretically derived classification scheme. We do so to investigate how exactly machine learning has been utilized in and for agent-based models so far and to critically discuss the combination of these two promising methods. We find that, indeed, there is a broad range of possible applications of ML to support and complement ABMs in many different ways, already applied in many different disciplines. We see that, so far, ML is mainly used in ABM for two broad cases: First, the modelling of adaptive agents equipped with experience learning and, second, the analysis of outcomes produced by a given ABM. While these are the most frequent, there also exist a variety of many more interesting applications. This being the case, researchers should dive deeper into the analysis of when and how which kinds of ML techniques can support ABM, e.g. by conducting a more in-depth analysis and comparison of different use cases. Nonetheless, as the application of ML in and for ABM comes at certain costs, researchers should not use ML for ABMs just for the sake of doing it.

研究动机与目标

• 提供跨多个学科领域，当前机器学习在基于代理的模型中及用于ABM的应用的全面、系统性概述。
• 批判性评估将机器学习整合入ABM的优缺点，特别是计算成本、模型可解释性及科学价值方面。
• 基于理论与方法论维度，识别并分类ABM中机器学习最突出的应用案例。
• 通过权衡收益与实施成本和风险，评估将机器学习整合入ABM是否合理（即‘是否值得投入’）。
• 根据具体的研究目标（如提升模型效率或增强代理适应性），为研究人员提供选择合适机器学习技术的指导。

提出的方法

• 使用Scopus数据库开展系统性文献回顾（SLR），通过全面的搜索查询，覆盖6个学科领域（社会学、商业、环境、能源、农业、经济学）的397篇文献。
• 应用基于ABM流程阶段、关键ABM挑战及机器学习算法/任务类别的理论分类体系，对文献进行聚类与分析。
• 通过预设的纳入/排除标准筛选文献，最终确定190篇相关出版物作为样本。
• 沿多个维度对研究进行分类，如机器学习应用类型（ABM内 vs. 用于ABM）、机器学习技术（如强化学习、神经网络）以及ABM目的（如代理学习、输出分析）。
• 对文献进行定性综合与批判性反思，以评估关于机器学习在ABM情境中优势与风险的主张。
• 评估ML增强型ABM应用中，模型性能、计算成本与解释能力之间的权衡。

实验结果

研究问题

• RQ1 RQ1：截至目前，机器学习在基于代理的模型中及用于ABM的用途有哪些？
• RQ2 RQ2：在ABM中使用机器学习的潜在优势与劣势是什么？
• RQ3 RQ3：在哪些具体情境下，将机器学习整合入ABM最为有益？在何种情况下可能适得其反？
• RQ4 RQ4：不同机器学习技术在支持ABM目标（如代理适应性或输出分析）方面有何差异？
• RQ5 RQ5：将机器学习应用于ABM的关键风险与局限性是什么，特别是关于模型可解释性与计算开销方面？

主要发现

• 机器学习在ABM中的应用主要集中在两个方面：(1) 通过基于经验的学习建模自适应代理；(2) 分析现有ABM模拟的输出结果。
• 强化学习及其他基于经验的学习技术是用于赋予代理自适应、目标导向行为的最常见机器学习方法。
• 诸如代理模型（微观与宏观）等机器学习技术被用于提升计算效率，但可能降低模型的可解释性与解释力。
• 在ABM中使用机器学习会增加计算成本，特别是训练深度神经网络时，每项模型的训练时间可能从数分钟到数小时不等。
• 过度依赖机器学习进行模型参数化或结果预测，可能因掩盖底层机制与动态过程而降低ABM的科学价值。
• 本研究结论认为，当研究目标涉及处理高维、多模态输出或增强代理适应性，尤其是在大规模宏观模型中时，ML的整合最为合理。