[论文解读] Mesoscale impact of trader psychology on stock markets: a multi-agent AI approach

Johann Lussange, Stefano Palminteri+2 more|arXiv (Cornell University)|Oct 10, 2019

Financial Markets and Investment Strategies被引用 7

一句话总结

本文提出了一种基于多智能体强化学习（RL）的股票市场模拟器，用于研究交易者心理在市场动态中的中尺度影响。通过在基于强化学习的智能体中嵌入认知偏差（延迟贴现、恐惧与贪婪），模型发现贪婪型智能体比例的提高可增强市场稳定性并降低破产率，这一结果挑战了传统上对风险规避的假设。

ABSTRACT

Recent advances in the fields of machine learning and neurofinance have yielded new exciting research perspectives in practical inference of behavioural economy in financial markets and microstructure study. We here present the latest results from a recently published stock market simulator built around a multi-agent system architecture, in which each agent is an autonomous investor trading stocks by reinforcement learning (RL) via a centralised double-auction limit order book. The RL framework allows for the implementation of specific behavioural and cognitive traits known to trader psychology, and thus to study the impact of these traits on the whole stock market at the mesoscale. More precisely, we narrowed our agent design to three such psychological biases known to have a direct correspondence with RL theory, namely delay discounting, greed, and fear. We compared ensuing simulated data to real stock market data over the past decade or so, and find that market stability benefits from larger populations of agents prone to delay discounting and most astonishingly, to greed.

研究动机与目标

• 研究交易者个体行为偏差如何影响中尺度市场动态。
• 通过在强化学习框架中嵌入认知偏差，弥合神经金融学与基于代理的建模之间的鸿沟。
• 评估心理特质（延迟贴现、恐惧与贪婪）对模拟市场稳定性与波动性的影响。
• 将模拟市场结果与真实世界金融数据（2000–2010年）进行比较，以验证模型的真实性。
• 探讨贪婪在减少市场崩盘与智能体破产方面所起的反直觉作用。

提出的方法

• 一个包含500个自主智能体的多智能体系统（MAS）模拟集中式双重拍卖限价单簿市场。
• 每个智能体使用强化学习（RL）算法，通过试错法结合奖励反馈学习价格预测与交易决策。
• 心理偏差（延迟贴现、恐惧与贪婪）被编码为强化学习框架内的参数化修改，与神经经济学理论一致。
• 模型模拟了11年市场数据（T=2875个时间步长），包含20支股票（S=20），采用图表派/基本面派交易策略。
• 计算并比较市场变量（价格回报、波动率、交易量、买卖价差、崩盘频率）与真实标普500数据。
• 系统性地改变每种偏差的智能体比例（例如，p=0%至100%），以评估其对市场涌现属性的影响。

实验结果

研究问题

• RQ1 延迟贴现、恐惧与贪婪等行为偏差如何影响模拟股票市场的稳定性和波动性？
• RQ2 增加贪婪型智能体比例对市场崩盘频率与系统性风险的中尺度影响是什么？
• RQ3 当嵌入心理特质时，模拟市场动态与真实世界典型事实（如肥尾分布、波动率聚集）相比如何？
• RQ4 尽管风险承担更高，贪婪型智能体的存在是否能降低智能体破产率？
• RQ5 强化学习框架能否有效在大规模上建模与模拟金融决策中的认知偏差？

主要发现

• 随着表现出延迟贴现的智能体比例提高，市场稳定性显著改善，表现为波动率降低与崩盘次数减少。
• 随着贪婪型智能体比例的增加，市场崩盘率急剧下降，在100%贪婪配置时达到最低点。
• 在贪婪水平提高时，智能体破产率显著下降，而在恐惧或延迟贴现配置下则保持稳定。
• 在中等（40–80%）贪婪配置下，模拟价格回报分布与真实标普500数据高度吻合。
• 当60–80%的智能体为贪婪型时，模拟中的波动率聚集与买卖价差动态与真实市场微观结构一致。
• 在60–100%贪婪条件下，模拟中连续上涨或下跌价格天数的数量与真实数据趋势相符。