[논문 리뷰] Solving Heterogeneous General Equilibrium Economic Models with Deep Reinforcement Learning

Edward W. Hill, Marco Bardoscia외 1명|arXiv (Cornell University)|2021. 03. 31.

COVID-19 epidemiological studies인용 수 6

한 줄 요약

이 논문은 거시경제학에서 이질적 에이전트 일반균형 모델을 해결하기 위해 딥 강화학습(DRL) 프레임워크를 제안한다. 기존의 반분석적 방법의 한계를 극복하며, 시장 clearing 제약 조건 하에 시간에 걸친 효용을 최적화하도록 에이전트를 훈련시킴으로써, 확률성, 이질성, 동적 피드백을 수반하는 복잡한 모델에 대해 정확하고 안정적이며 확장 가능한 해를 도출한다. 이는 예비 저축 모델, 확률적 RBC 모델, 연령별 위험과 노동 공급 반응을 고려한 전염병-거시경제 모델에서 입증되었다.

ABSTRACT

General equilibrium macroeconomic models are a core tool used by policymakers to understand a nation's economy. They represent the economy as a collection of forward-looking actors whose behaviours combine, possibly with stochastic effects, to determine global variables (such as prices) in a dynamic equilibrium. However, standard semi-analytical techniques for solving these models make it difficult to include the important effects of heterogeneous economic actors. The COVID-19 pandemic has further highlighted the importance of heterogeneity, for example in age and sector of employment, in macroeconomic outcomes and the need for models that can more easily incorporate it. We use techniques from reinforcement learning to solve such models incorporating heterogeneous agents in a way that is simple, extensible, and computationally efficient. We demonstrate the method's accuracy and stability on a toy problem for which there is a known analytical solution, its versatility by solving a general equilibrium problem that includes global stochasticity, and its flexibility by solving a combined macroeconomic and epidemiological model to explore the economic and health implications of a pandemic. The latter successfully captures plausible economic behaviours induced by differential health risks by age.

연구 동기 및 목표

• 확률성과 동적 피드백이 존재할 경우에도 전통적인 반분석적 방법의 한계를 해결한다.
• 표준 대표 에이전트 모델이 포착하지 못하는 현실적인 경제 현상(예: 전염병 영향, 연령별 노동 공급, 부문 간 이질성)을 모델링할 수 있도록 한다.
• 연속적인 선택 변수와 글로벌 제약 조건을 가진 합리적 기대 균형(REE) 모델을 해결하기 위한 계산 효율성, 확장성, 안정성이 뛰어난 프레임워크를 개발한다.
• 글로벌 확률적 충격과 내생적 건강-경제 상호작용을 포함한 다양한 거시경제 설정에서 메서드의 정확성과 강건성을 입증한다.
• 거시경제학과 강화학습을 연결하여, 불확실성 하에서 확장 가능하고 전방향적 에이전트 행동을 가능하게 하며, 정책적 관련 시뮬레이션 및 역강화학습( inverse RL) 응용에 잠재력을 지닌다.

제안 방법

• 가계와 기업이 예산 제약과 생산 제약 하에 시간에 걸친 효용을 최적화하는 방식으로 일반균형 모델을 마르코프 결정과정(MDP)으로 재구성한다.
• 고차원의 연속 상태 공간과 행동 공간에서의 에이전트 훈련을 안정화하기 위해, 우선순위 경험 재생과 타겟 네트워크를 갖춘 딥 Q네트워크(DQN)를 사용한다.
• 중앙집중적 훈련과 분산 실행(CTDE) 방식을 구현하여, 집합적 에이전트 행동에서 유도된 글로벌 시장 clearing 조건(예: 가격, 금리)을 계산한다.
• 로그-자기상관 과정을 통해 확률적 글로벌 변수(예: 기술 충격)를 통합하여, 에이전트가 실현값을 관찰할 수 있거나 관찰하지 못할 수 있도록 하며, 이는 정책 학습에 영향을 준다.
• 오프-폴리시 경험 재생을 사용하여 훈련을 수행하며, 병렬적으로 다수의 시뮬레이션에서 경험 트레이젝터리를 수집함으로써 샘플 효율성을 향상시킨다.
• 가치 함수 평균화와 학습률 감소를 적용하여 수렴 안정성 향상과 정책 학습 시 진동 감소를 달성한다.

실험 결과

연구 질문

• RQ1 딥 강화학습(DRL)은 이질적 에이전트와 연속적인 선택 변수를 가진 합리적 기대 균형(REE) 모델을 정확하게 해결할 수 있는가?
• RQ2 에이전트가 글로벌 확률적 충격(예: 기술 충격) 실현값을 관찰할 수 있는가의 여부가 그들의 노동 공급 경로의 안정성과 곡률에 어떤 영향을 미치는가?
• RQ3 DRL 프레임워크는 전염병 역학과 거시경제 결과 간 피드백 루프와 같은 복잡한 현실 세계 상호작용을 모델링할 수 있는가?
• RQ4 다양한 선호도와 제약 조건을 가진 이질적 에이전트를 모델링할 경우, 이 메서드의 계산 효율성과 수렴 안정성은 어떻게 확장되는가?
• RQ5 이 프레임워크는 건강 위험 하에서 예비 저축과 연령별로 다름을 보이는 노동 공급과 같은 현실적인 경제 행동을 어느 정도 잘 포착할 수 있는가?

주요 결과

• DRL 방법은 분석적 해가 알려진 기준 예비 저축 모델을 성공적으로 해결하였으며, 다수의 실행에서 높은 정확성과 안정성을 확보하였다.
• 기술 충격 실현값을 관찰하는 에이전트는 관찰하지 않는 에이전트보다 훨씬 매끄러운 노동 공급 경로를 보였으며, 평균 절대 곡률은 관찰자 0.27, 비관찰자 0.44로 감소하였다.
• 에피-마크로 모델에서, 이 프레임워크는 연령별로 다른 건강 위험에 대한 현실적인 연령별 노동 공급 반응을 포착하였으며, 전염병 역학으로 인한 거시경제 피드백의 타당성을 입증하였다.
• 병렬 경험 수집을 통해 효과적으로 확장 가능했으며, 8개 스레드를 사용해 약 6시간 내에 수렴을 달성하고 총 약 100,000건의 경험을 확보하였다.
• 우선순위 경험 재생과 학습률 감소의 사용은 훈련 안정성 향상과 정책 학습 시의 진동 감소에 크게 기여하였다.
• 생산 충격의 글로벌 확률성 조건을 성공적으로 처리하였으며, 에이전트는 자가상관 기술 과정에 동적으로 적응하였고, 모든 에이전트가 완전한 관찰을 할 수 없는 상황에서도 안정적으로 대응하였다.