[논문 리뷰] Mesoscale impact of trader psychology on stock markets: a multi-agent AI approach

Johann Lussange, Stefano Palminteri외 2명|arXiv (Cornell University)|2019. 10. 10.

Financial Markets and Investment Strategies인용 수 7

한 줄 요약

이 논문은 주식 시장의 메조스케일적 영향을 연구하기 위해 다중 에이전트 강화학습(RL) 시뮬레이터를 제안한다. 인지 편향인 지연 할인, 두려움, 탐욕을 RL 기반 에이전트에 통합함으로써, 탐욕스러운 에이전트 비율이 증가할수록 시장 안정성이 향상되고 파산 비율이 감소함을 규명하였으며, 이는 전통적인 위험 회피 가정에 도전한다.

ABSTRACT

Recent advances in the fields of machine learning and neurofinance have yielded new exciting research perspectives in practical inference of behavioural economy in financial markets and microstructure study. We here present the latest results from a recently published stock market simulator built around a multi-agent system architecture, in which each agent is an autonomous investor trading stocks by reinforcement learning (RL) via a centralised double-auction limit order book. The RL framework allows for the implementation of specific behavioural and cognitive traits known to trader psychology, and thus to study the impact of these traits on the whole stock market at the mesoscale. More precisely, we narrowed our agent design to three such psychological biases known to have a direct correspondence with RL theory, namely delay discounting, greed, and fear. We compared ensuing simulated data to real stock market data over the past decade or so, and find that market stability benefits from larger populations of agents prone to delay discounting and most astonishingly, to greed.

연구 동기 및 목표

• 거래자 내 개인적 행동 편향이 메조스케일 수준에서 집단적 시장 역학에 미치는 영향을 조사하는 것.
• 신경파산학과 에이전트 기반 모델링 간 격차를 메우기 위해 인지 편향을 강화학습 프레임워크에 통합하는 것.
• 지속적인 시장 안정성과 변동성에 영향을 미치는 심리적 특성인 지연 할인, 두려움, 탐욕의 영향을 평가하는 것.
• 모델의 현실성 검증을 위해 시뮬레이션된 시장 결과를 실제 금융 데이터(2000–2010)와 비교하는 것.
• 탐욕의 역설적인 역할이 시장 붕괴와 에이전트 파산률을 감소시키는지 탐색하는 것.

제안 방법

• 500개의 자율 에이전트로 구성된 다중 에이전트 시스템(MAS)이 중심화된 이중auction 한도주문서 시장을 시뮬레이션한다.
• 각 에이전트는 보상 피드백을 통한 시행착오를 통해 가격 예측 및 거래 결정을 학습하기 위해 강화학습(RL) 알고리즘을 사용한다.
• 인지 편향인 지연 할인, 두려움, 탐욕은 신경경제학 이론과 일치하는 파rameterized 수정 방식으로 RL 프레임워크 내에 통합된다.
• 20개의 주식(S=20)을 사용하여 11년 분량의 시장 데이터(T=2875 시간 단위)를 시뮬레이션하며, 차트리스트/기본적 거래 전략을 적용한다.
• 시장 변수(가격 수익률, 변동성, 거래량, 매도-매수 스프레드, 붕괴 빈도)를 계산하고 실제 S&P 500 데이터와 비교한다.
• 각 편향을 가진 에이전트 비율(p=0%에서 100%까지)을 체계적으로 변화시켜 기대되는 시장 성질에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 지연 할인, 두려움, 탐욕과 같은 행동 편향이 시뮬레이션된 주식 시장의 안정성과 변동성에 어떤 영향을 미치는가?
• RQ2 탐욕스러운 에이전트 비율을 증가시킬 경우 메조스케일적 영향으로서의 시장 붕괴 빈도와 체계적 리스크에 어떤 영향을 미치는가?
• RQ3 심리적 특성을 통합했을 때 시뮬레이션된 시장 역학이 실제 세계의 정형화된 사실(예: 꼬리 두꺼움, 변동성 군집화)과 어떻게 비교되는가?
• RQ4 더 높은 위험 취하는 경향에도 불구하고 탐욕스러운 에이전트의 존재가 에이전트 파산 비율을 감소시키는가?
• RQ5 강화학습 프레임워크가 대규모 금융 결정의 인지 편향을 효과적으로 모델링하고 시뮬레이션할 수 있는가?

주요 결과

• 지연 할인을 보이는 에이전트 비율이 높아질수록 변동성이 감소하고 붕괴 빈도가 줄어들어, 시장 안정성이 뚜렷이 향상됨을 측정함.
• 탐욕스러운 에이전트 비율이 증가함에 따라 시장 붕괴 빈도가 급격히 감소하며, 100% 탐욕 프로필에서 최소 수준에 도달함.
• 탐욕 수준이 높아질수록 에이전트 파산 비율이 크게 감소하며, 두려움 또는 지연 할인 프로필에서는 안정적으로 유지됨.
• 특히 중간(40–80%) 탐욕 프로필에서 시뮬레이션된 수익률 분포가 실제 S&P 500 데이터와 유사함.
• 특히 60–80%의 에이전트가 탐욕스러운 경우, 시뮬레이션된 변동성 군집화 및 매도-매수 스프레드 역학이 실제 마이크로스트럭처와 일치함.
• 특히 60–100% 탐욕 조건에서, 연속된 상승 또는 하락 주가 일수의 수가 실제 데이터 추세와 일치함.