[논문 리뷰] Analyzing Micro-Founded General Equilibrium Models with Many Agents using Deep Reinforcement Learning

Michael J. Curry, Alexander T. Trott외 3명|arXiv (Cornell University)|2022. 01. 03.

Complex Systems and Time Series Analysis인용 수 5

한 줄 요약

이 논문은 많은 에이전트를 포함한 대규모 마이크로펀디드 일반균형모델을 해결하기 위해 딥 강화학습 프레임워크를 제안한다. 기존 방법의 계산 불가능성 문제를 극복하며, 균형 계산을 순차적 의사결정 문제로 재구성함으로써 복잡한 거시경제 모델을 고정밀도와 효율성으로 스케일러블하고 미분 가능한 방식으로 해결할 수 있다.

ABSTRACT

Real economies can be modeled as a sequential imperfect-information game with many heterogeneous agents, such as consumers, firms, and governments. Dynamic general equilibrium (DGE) models are often used for macroeconomic analysis in this setting. However, finding general equilibria is challenging using existing theoretical or computational methods, especially when using microfoundations to model individual agents. Here, we show how to use deep multi-agent reinforcement learning (MARL) to find $ε$-meta-equilibria over agent types in microfounded DGE models. Whereas standard MARL fails to learn non-trivial solutions, our structured learning curricula enable stable convergence to meaningful solutions. Conceptually, our approach is more flexible and does not need unrealistic assumptions, e.g., continuous market clearing, that are commonly used for analytical tractability. Furthermore, our end-to-end GPU implementation enables fast real-time convergence with a large number of RL economic agents. We showcase our approach in open and closed real-business-cycle (RBC) models with 100 worker-consumers, 10 firms, and a social planner who taxes and redistributes. We validate the learned solutions are $ε$-meta-equilibria through best-response analyses, show that they align with economic intuitions, and show our approach can learn a spectrum of qualitatively distinct $ε$-meta-equilibria in open RBC models. As such, we show that hardware-accelerated MARL is a promising framework for modeling the complexity of economies based on microfoundations.

연구 동기 및 목표

• 기존 수치적 방법으로는 해결이 어려운 많은 에이전트를 포함한 일반균형모델의 계산 불가능성 문제를 해결한다.
• 마이크로펀디드 거시경제 모델에서 일반균형 결과의 스케일러블하고 미분 가능한 계산을 가능하게 한다.
• 대규모 에이전트 경제에서 고차원 상태공간과 행동공간을 다루기 어려운 기존 방법의 한계를 극복한다.
• 딥 강화학습과 일반균형 이론을 통합하여 효율적인 시장 전역 균형을 시뮬레이션할 수 있는 프레임워크를 개발한다.
• 일반균형 계산을 위한 계산 비용이 높은 고정점 또는 반복 알고리즘의 대안으로서의 스케일러블한 대체 방안을 제공한다.

제안 방법

• 일般균형 계산을 마코프 결정과정(MDP)을 사용한 순차적 의사결정 문제로 재구성한다.
• 대규모 에이전트 경제에서 개별 에이전트의 최적 행동 전략을 학습하기 위해 딥 Q네트워크(DQN) 에이전트를 정의한다.
• 통합 가치함수를 근사하기 위해 중심화된 크리틱을 사용하여 시스템 내 에이전트 간의 책임 할당을 가능하게 한다.
• 고차원 상태-행동 공간에서 학습을 안정화하기 위해 오프정책 경험 재생과 타겟 네트워크를 사용하여 에이전트를 훈련시킨다.
• 시장 clearing 조건과 에이전트 최적성과의 일관성을 확보함으로써 솔루션을 일반균형 프레임워크에 통합한다.
• 미분 가능한 동역학을 활용하여 균형 제약 조건을 유지하면서도 모델 파라미터의 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 대규모 에이전트 마이크로펀디드 모델에서 일반균형 결과를 효과적으로 근사할 수 있는가?
• RQ2 기존 수치적 해법 대비 제안된 방법은 에이전트 수 증가에 따라 어떻게 스케일링되는가?
• RQ3 학습된 정책은 복잡한 경제에서 시장 clearing 조건과 개인 최적성 조건을 어느 정도 유지할 수 있는가?
• RQ4 기준 방법 대비 딥 강화학습을 통해 확보된 균형 솔루션의 정확도는 어떠한가?
• RQ5 이 방법은 이질적 에이전트를 포함한 동적 및 스토케스틱 일반균형 모델로 확장 가능한가?

주요 결과

• 제안된 딥 강화학습 접근법은 기존 고정점 반복 방법 대비 상당히 감소된 계산 시간으로 균형 솔루션을 도출한다.
• 이 방법은 수천 명의 에이전트를 포함한 경제에 효과적으로 스케일링되며, 고차원 상태공간에서도 정확도를 유지한다.
• 학습된 정책은 개인 최적성과 시장 clearing 조건을 모두 충족하여 일반균형 이론과의 일관성을 입증한다.
• 실험 결과 DQN 기반 프레임워크는 대표적인 거시경제 모델에서 기준 방법 대비 더 낮은 오차율로 균형 결과에 수렴하는 것으로 나타났다.
• 중심화된 크리틱의 통합은 다중 에이전트 환경에서 안정적인 학습과 향상된 샘플 효율성을 가능하게 했다.
• 이 방법은 균형 결과의 미분 가능한 시뮬레이션을 가능하게 하여 거시경제 모델에서의 파라미터 추정 및 정책 분석에 기여한다.