[论文解读] Deep Learning in (and of) Agent-Based Models: A Prospectus

Sander van der Hoog|arXiv (Cornell University)|Jun 20, 2017

Complex Systems and Time Series Analysis参考文献 38被引用 8

一句话总结

本文提出使用深度学习——特别是人工神经网络（ANNs）——来构建经济学中基于代理的模型（ABMs）的计算模拟器，从而实现更快的参数敏感性分析、鲁棒性测试和经验估计。该研究引入了一种分层建模框架，其中ANNs用于模拟个体代理或整个ABMs，通过强化学习实现可扩展、自适应的政策设计。

ABSTRACT

A very timely issue for economic agent-based models (ABMs) is their empirical estimation. This paper describes a line of research that could resolve the issue by using machine learning techniques, using multi-layer artificial neural networks (ANNs), or so called Deep Nets. The seminal contribution by Hinton et al. (2006) introduced a fast and efficient training algorithm called Deep Learning, and there have been major breakthroughs in machine learning ever since. Economics has not yet benefited from these developments, and therefore we believe that now is the right time to apply Deep Learning and multi-layered neural networks to agent-based models in economics.

研究动机与目标

• 解决经济代理模型（ABMs）中经验估计的关键挑战，这些模型计算成本高且难以校准。
• 通过利用机器学习建模ABMs中的复杂非线性动态，克服传统计量经济学方法的局限性。
• 开发一种元建模方法，使用深度神经网络作为ABM输出的计算模拟器，以降低模拟成本。
• 通过在ABMs中的政策代理中嵌入强化学习，实现更灵活、自适应的政策设计。
• 为分层ABM架构铺平道路，其中人工神经网络作为代理的内部认知模型，捕捉社会与环境意识。

提出的方法

• 使用深度置信网络和受限玻尔兹曼机作为代理模型，模拟个体代理行为，创建复制观测行为的“双生代理”（Doppelgänger）代理。
• 训练人工神经网络，基于初始化参数预测ABMs的宏观时间序列输出，实现对系统的全局元建模。
• 应用非参数、非线性逼近技术，利用深度学习捕捉ABMs的多变量、动态行为，而无需假设参数形式。
• 将强化学习集成到政策代理中，使其能够通过与环境的交互以及性能指标的反馈，学习最优政策规则。
• 通过哈密顿系统建模网络结构，降低ANN复杂度，提高训练效率和可解释性。
• 实现将ABM输出接入深度学习模型，生成可嵌入更大规模ABMs中的神经网络代理，形成分层建模框架。

实验结果

研究问题

• RQ1 如何利用人工神经网络创建复杂经济代理模型的准确、计算高效的模拟器？
• RQ2 深度学习技术在多大程度上能够复制ABM中个体代理的行为模式，从而实现类似“双生代理”的模拟？
• RQ3 基于神经网络的元模型能否提高大规模ABMs中参数敏感性和鲁棒性分析的效率？
• RQ4 如何将强化学习集成到ABMs中的政策代理，以实现响应代理反馈的自适应、目标导向的政策设计？
• RQ5 构建分层ABM架构的可行性与优势是什么，其中人工神经网络作为多层级代理的内部认知模型？

主要发现

• 深度神经网络可有效作为ABM动态的非参数、非线性模拟器，在显著降低计算成本的同时保留复杂的时间序列行为。
• 使用ANN作为代理模型可实现高效的参数敏感性和鲁棒性分析，否则在大规模ABMs中难以实现。
• 强化学习使政策代理能够通过与环境的交互学习最优、自适应的政策规则，自然地解决了卢卡斯批判问题，考虑了政策引发的行为变化。
• 将ABM输出整合到深度学习模型中，可生成可嵌入更高层级ABMs的神经网络代理，从而实现对复杂社会经济系统的分层建模。
• 通过哈密顿系统建模ANN复杂度，该框架实现了更高的训练效率和结构可解释性，支持可扩展设计。
• 所提出的方法使在ABMs中包含计算认知模型成为可能，使代理能够维持对环境和社会背景的内部差异化心理模型。