[논문 리뷰] Deep Learning in (and of) Agent-Based Models: A Prospectus

Sander van der Hoog|arXiv (Cornell University)|2017. 06. 20.

Complex Systems and Time Series Analysis참고 문헌 38인용 수 8

한 줄 요약

이 논문은 경제학 분야의 에이전트기반 모델(ABMs)을 위한 계산적 에뮬레이터를 개발하기 위해 딥러닝, 특히 인공신경망(ANNs)을 사용하는 것을 제안한다. 이를 통해 빠른 파rameter 민감도 분석, 강건성 테스트 및 실증적 추정이 가능해지며, 강화학습을 통해 확장 가능하고 적응 가능한 정책 설계가 가능해진다. 이는 인공신경망이 개별 에이전트나 전체 ABM을 에뮬레이트하는 계층적 모델링 프레임워크를 제공한다.

ABSTRACT

A very timely issue for economic agent-based models (ABMs) is their empirical estimation. This paper describes a line of research that could resolve the issue by using machine learning techniques, using multi-layer artificial neural networks (ANNs), or so called Deep Nets. The seminal contribution by Hinton et al. (2006) introduced a fast and efficient training algorithm called Deep Learning, and there have been major breakthroughs in machine learning ever since. Economics has not yet benefited from these developments, and therefore we believe that now is the right time to apply Deep Learning and multi-layered neural networks to agent-based models in economics.

연구 동기 및 목표

• 에이전트기반 모델(ABMs)의 실증적 추정이라는 핵심 과제를 해결한다. 이는 계산적으로 비용이 많이 들고 校정하기 어려운 문제이다.
• 伝통적 경제통계 방법의 한계를 극복하기 위해 머신러닝을 활용하여 ABMs 내 복잡한 비선형 역학을 모델링한다.
• 딥 뉴럴 네트워크를 사용한 메타모델링 접근법을 개발하여 ABM 출력의 계산적 에뮬레이터로 활용함으로써 시뮬레이션 비용을 감소시킨다.
• 강화학습을 통합함으로써 정책 에이전트 내부에 통합함으로써 더 유연하고 적응 가능한 정책 설계를 가능하게 한다.
• 에이전트의 내부인지 모델로 인공신경망을 사용하는 계층적 ABM 아키텍처를 위한 길을 열어, 사회적 및 환경적 인식을 반영한다.

제안 방법

• 딥 빌리프 네트워크와 제한된 볼츠만 기계를 사용하여 개별 에이전트 행동을 에뮬레이트하는 서rogate 모델로 활용함으로써 관찰된 행동을 재현하는 '도플갱어' 에이전트를 생성한다.
• 초기화 파라미터를 기반으로 ABM의 거시적 시계열 출력을 예측하기 위해 인공신경망을 훈련시어 전체 시스템의 글로벌 메타모델링을 가능하게 한다.
• 딥러닝을 활용한 비모수적 비선형 근사 기법을 적용하여, 파라미터 형태를 가정하지 않고 ABM의 多변량 동적 행동을 포괄한다.
• 강화학습을 정책 에이전트에 통합하여 환경과 성능 지표 피드백을 통해 최적의 정책 규칙을 학습할 수 있도록 한다.
• 훈련 효율성과 해석 가능성을 향상시키기 위해 네트워크 구조를 하미르톤 시스템으로 모델링함으로써 ANN의 복잡성을 감소시킨다.
• ABM 출력을 딥러닝 모델에 통합하여 인공신경망을 생성하고, 이를 더 큰 규모의 ABM 내부에 에이전트로 통합함으로써 계층적 모델링 프레임워크를 형성한다.

실험 결과

연구 질문

• RQ1 어떻게 인공신경망을 활용하여 경제학 분야의 복잡한 에이전트기반 모델을 정확하고 계산적으로 효율적인 에뮬레이터로 만들 수 있는가?
• RQ2 딥러닝 기법을 통해 ABM 내 개별 에이전트의 행동 패턴을 어느 정도 재현할 수 있으며, 도플갱어 스타일의 에뮬레이션을 가능하게 할 수 있는가?
• RQ3 신경망 기반의 메타모델은 대규모 ABM에서의 파rameter 민감도 및 강건성 분석의 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 강화학습을 ABM 내 정책 에이전트에 통합하여, 에이전트 피드백에 반응하는 적응형, 목표 지향적 정책 설계를 어떻게 가능하게 할 수 있는가?
• RQ5 에이전트의 내부인지 모델로 인공신경망을 사용하는 계층적 ABM을 구축하는 것은 얼마나 실현 가능하며, 그 이점은 무엇인가?

주요 결과

• 딥 뉴럴 네트워크는 비모수적 비선형 에뮬레이터로서 ABM의 역학을 효과적으로 모사할 수 있으며, 계산 비용을 크게 감소시키면서도 복잡한 시계열 행동을 유지한다.
• ANN을 서로서 모델로 사용함으로써 기존에는 대규모 ABM에서 비현실적으로 어려웠던 파rameter 민감도 및 강건성 분석이 효율적으로 수행될 수 있다.
• 강화학습은 정책 에이전트가 상호작용을 통해 최적의 적응형 정책 규칙을 학습할 수 있도록 하며, 정책 유도 행동 변화를 고려함으로써 루카스 비판을 자연스럽게 해결한다.
• ABM 출력을 딥러닝 모델에 통합함으로써 생성된 인공신경망은 더 높은 수준의 ABM 내부에 에이전트로 통합될 수 있으며, 이는 복잡한 사회경제 시스템의 계층적 모델링을 가능하게 한다.
• ANN의 복잡성을 하미르톤 시스템으로 모델링함으로써 훈련 효율성과 구조적 해석 가능성이 향상되어 확장 가능한 설계를 지원한다.
• 제안된 접근법은 ABM에 계산 기반 인지 모델을 통합할 수 있도록 하여, 에이전트가 환경과 사회적 맥락에 대해 내부적으로 구분된 정신 모델을 유지할 수 있도록 한다.