[论文解读] AMBER: A Columnar Architecture for High-Performance Agent-Based Modeling in Python

Anh-Duy Pham|arXiv (Cornell University)|Jan 22, 2026

Big Data and Digital Economy被引用 0

一句话总结

AMBER 通过使用 Polars DataFrame 的列式状态管理来加速 Python ABM，在基准测试中实现显著的加速（1.2× 到 93×）以及 30–50% 的内存降低。

ABSTRACT

Agent-based modeling (ABM) has emerged as an indispensable methodology for studying complex adaptive systems across the natural and social sciences. However, Python-based ABM frameworks face a fundamental tension between the accessibility that has made Python dominant in scientific computing and the performance requirements of large-scale simulations. This paper introduces AMBER, a framework that resolves this tension through a novel architectural approach: replacing the conventional object-per-agent representation with columnar state management using the Polars DataFrame library. We analyze the computational characteristics of both paradigms, present the architectural design of AMBER including its core abstractions, spatial environments, experiment management, and optimization capabilities. Empirical evaluation on three canonical benchmarks demonstrates that AMBER achieves speedups of 1.2x to 93x depending on workload characteristics, with the greatest advantages for models dominated by population-wide attribute operations. Memory profiling reveals 30-50% reduction in peak usage compared to object-oriented frameworks. Our results establish columnar state management as a viable architectural foundation for high-performance ABM in interpreted languages.

研究动机与目标

• 解决使用对象/代理人表示的 Python ABM 框架在扩展性方面的限制。
• 提出并实现一种用于 ABM 的列式状态管理体系。
• 提供一个包含空间环境、实验管理与优化能力的综合 ABM 框架。
• 在多个经典 ABM 基准上进行经验性性能评估。

提出的方法

• 通过在 Population 对象中将所有代理属性作为列存储在 Polars DataFrame 中来引入列式状态管理。
• 提供一个抽象层（Agent 与 Population 类）以在列式存储上保留熟悉的面向对象语义。
• 分析列式状态管理与面向对象状态管理在面向总体的操作与针对代理的操作中的性能特征。
• 实现空间环境（Grid、Space、Network）、带参数扫描的实验管理，以及优化/校准工具（grid、random、Bayesian、SMAC）。
• 在三个模型上对 Mesa 与 AgentPy 进行经验性基准测试，测量扩展性、加速比与内存使用情况。

Figure 1 : Comparison of state management approaches. Left: Object-oriented representation where each agent is a Python object with scattered memory layout. Right: AMBER’s columnar representation where agent attributes form contiguous columns in a Polars DataFrame. The columnar layout enables vector

实验结果

研究问题

• RQ1 列式状态管理是否可以在保持 Python 可访问性的同时成为高性能 ABM 的可行基础？
• RQ2 在不同工作负载和人口规模下，列式 ABM 架构可以达到哪些加速？
• RQ3 AMBER 是否能够提供完整的 ABM 生命周期支持（空间环境、实验管理、优化）并使用列式存储？

主要发现

Benchmark	AMBER (s)	Mesa (s)	Speedup
Wealth Transfer	2.1	195.5	93 ×
SIR Epidemic	4.8	8.2	1.7 ×
Random Walk	1.9	28.5	15 ×

• AMBER 的加速取决于工作负载特征，范围从 1.2× 到 93×。
• 相较于面向对象 ABM 框架，内存使用减少了 38–50%。
• Wealth Transfer 显示了最大的加速（93×），原因是直接映射到列式操作。
• SIR Epidemic 由于每个代理分支处理，速度提升较小（1.7×）；Random Walk 由于位置更新可向量化，达到 15× 的加速。
• 峰值内存降低在 Wealth Transfer 与 SIR Epidemic 为 45%，Random Walk 为 38%。
• AMBER 对总体属性更新具有更好的可扩展性，并验证列式状态管理作为 Python ABM 的可行架构。

Figure 2 : Execution time versus agent population size for three benchmark models. AMBER demonstrates consistently better scaling, with the advantage most pronounced for Wealth Transfer where vectorization is most applicable.