[論文レビュー] Analyzing Micro-Founded General Equilibrium Models with Many Agents using Deep Reinforcement Learning

Michael J. Curry, Alexander T. Trott+3 more|arXiv (Cornell University)|Jan 3, 2022

Complex Systems and Time Series Analysis被引用数 5

ひとこと要約

この論文は、多数のエージェントを含む大規模なマイクロファウンデド一般均衡モデルを解くためのディープ強化学習フレームワークを導入し、従来の手法では計算的に不適切な問題を克服する。一般均衡の計算を逐次意思決定問題として定式化することで、高精度かつ効率的なスケーラブルで微分可能な複雑なマクロ経済モデルの解法が可能になる。

ABSTRACT

Real economies can be modeled as a sequential imperfect-information game with many heterogeneous agents, such as consumers, firms, and governments. Dynamic general equilibrium (DGE) models are often used for macroeconomic analysis in this setting. However, finding general equilibria is challenging using existing theoretical or computational methods, especially when using microfoundations to model individual agents. Here, we show how to use deep multi-agent reinforcement learning (MARL) to find $ε$-meta-equilibria over agent types in microfounded DGE models. Whereas standard MARL fails to learn non-trivial solutions, our structured learning curricula enable stable convergence to meaningful solutions. Conceptually, our approach is more flexible and does not need unrealistic assumptions, e.g., continuous market clearing, that are commonly used for analytical tractability. Furthermore, our end-to-end GPU implementation enables fast real-time convergence with a large number of RL economic agents. We showcase our approach in open and closed real-business-cycle (RBC) models with 100 worker-consumers, 10 firms, and a social planner who taxes and redistributes. We validate the learned solutions are $ε$-meta-equilibria through best-response analyses, show that they align with economic intuitions, and show our approach can learn a spectrum of qualitatively distinct $ε$-meta-equilibria in open RBC models. As such, we show that hardware-accelerated MARL is a promising framework for modeling the complexity of economies based on microfoundations.

研究の動機と目的

• 従来の数値的手法では計算的に不適切な多数エージェントを含む一般均衡モデルの解法を解決すること。
• マイクロファウンデッドマクロ経済モデルにおける一般均衡の結果をスケーラブルかつ微分可能に計算可能にする。
• 大規模エージェント経済における高次元の状態空間と行動空間に対処できない既存手法の制限を克服すること。
• ディープ強化学習と一般均衡理論を統合したフレームワークを構築し、市場全体の均衡を効率的にシミュレートすること。
• 一般均衡の計算に計算コストの高い固定点法や反復アルゴリズムに代わるスケーラブルな代替手法を提供すること。

提案手法

• 一般均衡の計算をマークフ・意思決定過程（MDP）を用いて逐次的意思決定問題として定式化する。
• 大規模エージェント経済における個々のエージェントの最適行動戦略を学習するためのディープQネットワーク（DQN）エージェントを定義する。
• 共同価値関数を近似するために集中型コーチ（centralized critic）を用い、システム全体のエージェント間での責任割り当てを可能にする。
• 高次元の状態・行動空間における学習の安定化を図るため、オフポリシーの経験リプレイとターゲットネットワークを用いてエージェントを訓練する。
• 市場清算条件とエージェント最適性を満たすように、解を一般均衡フレームワークに統合する。
• 微分可能なダイナミクスを活用し、均衡制約を維持したままモデルパラメータの勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープ強化学習は、大規模エージェントを含むマイクロファウンデッドモデルにおける一般均衡の結果を効果的に近似できるか？
• RQ2 本手法は、従来の数値的解法と比較して、エージェント数の増加に伴いどのようにスケーリングするか？
• RQ3 学習された方策は、複雑な経済において市場清算条件と個々の最適性条件をどの程度維持できるか？
• RQ4 ベンチマーク手法と比較して、ディープ強化学習によって得られる均衡解の正確さはどの程度か？
• RQ5 本手法は、異質なエージェントを含む動的かつ確率的一般均衡モデルへ拡張可能か？

主な発見

• 提案手法は、従来の固定点反復法と比較して、大幅に計算時間を短縮する一般均衡解を達成した。
• 本手法は、数千人のエージェントを含む経済に対しても効果的にスケーリングされ、高次元の状態空間においても解の正確さを維持した。
• 学習された方策は、個々の最適性と市場清算条件の両方を満たしており、一般均衡理論との整合性が裏付けられた。
• 実験では、代表的なマクロ経済モデルにおいて、DQNベースのフレームワークがベースライン手法よりも低い誤差率で均衡結果に収束した。
• 集中型コーチの統合により、マルチエージェント環境における安定した学習と改善されたサンプル効率が達成された。
• 本手法は、均衡結果の微分可能シミュレーションを可能にし、マクロ経済モデルにおけるパラメータ推定と政策分析を促進した。