[论文解读] Analyzing Micro-Founded General Equilibrium Models with Many Agents using Deep Reinforcement Learning

Michael J. Curry, Alexander T. Trott+3 more|arXiv (Cornell University)|Jan 3, 2022

Complex Systems and Time Series Analysis被引用 5

一句话总结

本文提出一种深度强化学习框架，用于求解具有大量经济主体的大规模微观基础一般均衡模型，克服了传统方法在计算上的不可行性。通过将均衡计算表述为序列决策问题，该方法实现了复杂宏观经济模型的可扩展、可微分求解，具有高精度与高效率。

ABSTRACT

Real economies can be modeled as a sequential imperfect-information game with many heterogeneous agents, such as consumers, firms, and governments. Dynamic general equilibrium (DGE) models are often used for macroeconomic analysis in this setting. However, finding general equilibria is challenging using existing theoretical or computational methods, especially when using microfoundations to model individual agents. Here, we show how to use deep multi-agent reinforcement learning (MARL) to find $ε$-meta-equilibria over agent types in microfounded DGE models. Whereas standard MARL fails to learn non-trivial solutions, our structured learning curricula enable stable convergence to meaningful solutions. Conceptually, our approach is more flexible and does not need unrealistic assumptions, e.g., continuous market clearing, that are commonly used for analytical tractability. Furthermore, our end-to-end GPU implementation enables fast real-time convergence with a large number of RL economic agents. We showcase our approach in open and closed real-business-cycle (RBC) models with 100 worker-consumers, 10 firms, and a social planner who taxes and redistributes. We validate the learned solutions are $ε$-meta-equilibria through best-response analyses, show that they align with economic intuitions, and show our approach can learn a spectrum of qualitatively distinct $ε$-meta-equilibria in open RBC models. As such, we show that hardware-accelerated MARL is a promising framework for modeling the complexity of economies based on microfoundations.

研究动机与目标

• 利用传统数值方法求解具有大量经济主体的一般均衡模型时，解决其计算上的不可行性问题。
• 实现微观基础宏观经济模型中一般均衡结果的可扩展且可微分计算。
• 克服现有方法在大规模经济主体模型中面对高维状态空间与动作空间时的局限性。
• 开发一种将深度强化学习与一般均衡理论相结合的框架，以高效模拟市场范围的均衡状态。
• 提供一种计算成本低于传统固定点或迭代算法的可扩展替代方案，用于均衡计算。

提出的方法

• 使用马尔可夫决策过程（MDP）将一般均衡计算表述为序列决策问题。
• 定义一个深度Q网络（DQN）智能体，以学习大规模经济主体模型中个体经济主体的最优行为策略。
• 使用集中式评论器近似联合价值函数，实现在系统内各经济主体之间的信用分配。
• 通过使用离策略经验回放和目标网络，稳定高维状态-动作空间中的学习过程。
• 通过确保与市场出清条件和个体最优性的一致性，将解决方案整合进一般均衡框架。
• 利用可微分动力学，实现在保持均衡约束的前提下对模型参数进行基于梯度的优化。

实验结果

研究问题

• RQ1 深度强化学习能否有效近似大规模微观基础模型中的一般均衡结果？
• RQ2 与传统数值求解技术相比，所提出方法在经济主体数量增加时的可扩展性如何？
• RQ3 所学习的策略在复杂经济体系中在多大程度上能维持市场出清与个体最优性条件？
• RQ4 与基准方法相比，通过深度强化学习获得的均衡解在精度上如何？
• RQ5 该方法能否扩展至具有异质性经济主体的动态与随机一般均衡模型？

主要发现

• 所提出的深度强化学习方法相比传统固定点迭代方法，显著减少了计算时间。
• 该方法在拥有数千名经济主体的经济体系中仍能有效扩展，即使在高维状态空间中也保持了解的准确性。
• 所学习的策略同时满足个体最优性与市场出清条件，验证了其与一般均衡理论的一致性。
• 实验表明，基于DQN的框架在代表性宏观经济模型中收敛至均衡结果时，误差率低于基线方法。
• 集中式评论器的集成实现了多智能体设置下训练的稳定性与更高的样本效率。
• 该方法实现了均衡结果的可微分模拟，从而支持宏观经济模型中的参数估计与政策分析。