[논문 리뷰] Deep Reinforcement Learning in a Monetary Model

Mingli Chen, Andreas Joseph외 3명|arXiv (Cornell University)|2021. 04. 19.

Monetary Policy and Economic Impact참고 문헌 23인용 수 10

한 줄 요약

이 논문은 유한한 합리성의 에이전트를 가진 동적 스토케스틱 일반균형(DSGE) 모델을 해결하기 위해 딥 강화학습(DRL)을 제안한다. 가정들은 경제와의 상호작용을 통해 사전에 모델의 구조를 알지 못한 채 최적의 소비 및 저축 결정을 학습한다. 적응 학습과는 달리, DRL 에이전트는 통화 및 재정 정책 제도 전반에서 모든 정적 균형 해에 성공적으로 수렴하며, 강건성과 전역 학습 능력을 입증한다.

ABSTRACT

We propose using deep reinforcement learning to solve dynamic stochastic general equilibrium models. Agents are represented by deep artificial neural networks and learn to solve their dynamic optimisation problem by interacting with the model environment, of which they have no a priori knowledge. Deep reinforcement learning offers a flexible yet principled way to model bounded rationality within this general class of models. We apply our proposed approach to a classical model from the adaptive learning literature in macroeconomics which looks at the interaction of monetary and fiscal policy. We find that, contrary to adaptive learning, the artificially intelligent household can solve the model in all policy regimes.

연구 동기 및 목표

• 합리적 기대와 적응 학습의 한계를 해결하기 위해, 더 유연하고 비모수적 접근 방식을 통해 유한한 합리성의 개념을 도입하는 것.
• 딥 강화학습(DRL)이 다양한 통화 및 재정 정책 제도 하에서 대표 가정을 가진 복잡한 DSGE 모델을 해결할 수 있는지 조사하는 것.
• DRL 에이전트가 적응 학습에서 학습이 불가능한 해를 포함해 모든 정적 균형 해에 수렴할 수 있는지 평가하는 것.
• 정책이나 예측 규칙의 기능 형태를 가정하지 않는 비모수적 함수 근사 신경망을 사용하여, 파rametric 학습 모델의 계산 가능하고 원칙적인 대안을 제공하는 것.
• 학습 곡선과 가치 함수를 사용하여 연속 스펙트럼 상에서 유한한 합리성의 측정 및 캘리브레이션을 위한 프레임워크를 구축하는 것.

제안 방법

• 에이전트를 깊이 신경망으로 표현하여 시뮬레이션된 경제 환경과의 상호작용을 통해 최적의 의사결정 규칙을 학습하는 방식.
• 고차원 연속 행동 공간을 처리할 수 있는 정책 기반 딥 강화학습 알고리즘(SAC 등)을 사용하는 것.
• 보상 함수를 가계의 할인된 효용으로 정의하며, 상태 변수로 인플레이션, 통화 보유량, 생산량을 포함한다.
• 에피소드 기반 학습을 구현하며, 유용도 수렴 기준(d_u^min)에 따라 종료 조건을 설정한다. 에피소드가 유용도 변화가 임계값 이하로 떨어지면 종료된다.
• 학습 안정성을 높이기 위해 경험 재생과 타겟 네트워크를 사용하며, 확률적 정책을 통한 탐색을 수행한다.
• 정책 또는 가치 함수의 특정 파라미터 형식을 가정하지 않고도 비모수적 학습이 가능하도록, 깊이 신경망을 통한 함수 근사를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습(DRL) 에이전트는 다양한 통화 및 재정 정책 제도 하에서 다수의 정적 균형 해를 가진 표준 통화 DSGE 모델을 해결할 수 있는가?
• RQ2 DRL 에이전트의 성능은 정책 제도 전반에서 정적 균형 해에 수렴하는 데 있어 적응 학습 에이전트와 비교해 어떻게 다른가? 특히 수렴성과 안정성 측면에서.
• RQ3 DRL 에이전트가 모델의 구조 방정식이나 운동 법칙에 대한 사전 지식 없이 최적의 의사결정 규칙을 얼마나 잘 학습할 수 있는가?
• RQ4 DRL의 전역 학습 능력 덕분에, 적응 학습에서 학습이 불가능한 해조차도 DRL 에이전트가 모든 가능한 정적 균형 해에 도달할 수 있는가?
• RQ5 유용도 수렴 임계값(d_u^min)과 같은 하이퍼파ram터가 학습 정밀도와 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• DRL 에이전트는 테스트한 모든 통화 및 재정 정책 제도에서 모든 정적 균형 해에 성공적으로 수렴하였으며, 적응 학습에서 학습이 불가능한 해들 역시 포함되어 있었다.
• PMP-AFP 제도에서, 유용도 수렴 임계값(d_u^min)을 1e-7에서 1e-9로 감소시킴으로써 학습 정밀도와 행동 수렴성이 크게 향상되었으며, 그 결과는 그림 10에 나타나 있다.
• DRL 접근법은 정책이나 예측 규칙의 기능 형태에 대한 파rametric 가정 없이도 안정적인 학습을 달성하였다.
• 이 방법은 모델의 복잡성과 정책 제도의 변화에 강건했으며, 에이전트가 모델의 구조적 지식 없이도 상호작용을 통해 최적의 행동을 학습하는 데 성공했다.
• DRL 학습의 전역 성격 덕분에 다수의 균형에 수렴할 수 있었고, 반면 적응 학습은 특정 정책 조합에서는 수렴에 실패할 수 있었다.
• 이 방법은 가치 함수 학습 곡선과 수렴 지표를 통해 측정 가능한 연속 스펙트럼 상에서 유한한 합리성의 개념을 제공한다.