[论文解读] Idiosyncrasies and challenges of data driven learning in electronic trading

Vangelis Bacoyannis, Vacslav Glukhov+3 more|arXiv (Cornell University)|Nov 23, 2018

Stock Market Forecasting Methods被引用 11

一句话总结

本文通过提出一种基于效用的标准强化学习（RL）扩展——确定性等价强化学习（CERL），解决了将强化学习（RL）应用于电子交易时面临的挑战，以处理多维、不确定的收益和风险偏好问题。该研究提出了一种框架，通过效用函数整合风险规避和监管约束，使智能体能够在不确定性下做出稳健且可解释的决策。

ABSTRACT

We outline the idiosyncrasies of neural information processing and machine learning in quantitative finance. We also present some of the approaches we take towards solving the fundamental challenges we face.

研究动机与目标

• 弥合传统基于规则的算法与电子交易中数据驱动学习之间的差距。
• 克服标准强化学习在处理金融领域多维、不确定收益及风险偏好方面的局限性。
• 开发一个将客户目标、监管约束和风险管理整合到强化学习智能体中的框架。
• 在不确定性和复杂约束条件下，实现可解释的稳健决策。
• 提出一种系统性方法，实现强化学习智能体在多样化交易环境中的可扩展性，同时保持可解释性。

提出的方法

• 通过效用函数使用确定性等价（CE）公式扩展标准强化学习，以对不确定结果进行排序。
• 提出CERL更新规则：CE(π) = U⁻¹[E[U(r + max CE)]]，其中U为风险规避效用函数。
• 将交易建模为带有软约束和分层目标的马尔可夫决策过程（MDP）。
• 通过随时间推移不确定性增加而自然产生的折扣因子γ，实现时变风险建模。
• 利用基于效用的排序方法，平衡整体表现与尾部风险，反映客户的风险偏好。
• 提出合成的多智能体市场环境，以在真实、涌现的市场动态中训练和验证智能体。

实验结果

研究问题

• RQ1 如何使强化学习适应电子交易中多维且不确定的收益？
• RQ2 如何将风险偏好和监管约束正式嵌入强化学习智能体？
• RQ3 像CERL这样的基于效用的框架能否提升算法交易中的鲁棒性和可解释性？
• RQ4 在不同环境中训练的智能体如何通过共享知识获益，同时保持任务特定性能？
• RQ5 是否存在一种通用的序列决策框架，能够容纳不确定持续时间、多重目标和风险规避？

主要发现

• CERL框架自然地从随时间推移的不确定性增加中推导出折扣因子γ，而非将其视为任意超参数。
• 效用函数使智能体能够优先考虑风险规避的结果，降低高不确定性动作的确定性等价收益。
• 该框架支持更丰富的智能体结构，体现风险偏好和业务约束，超越标量奖励最大化。
• 多智能体合成市场环境为智能体的真实训练与评估提供了可行路径。
• 该方法支持分层决策与多尺度学习，为可扩展、模块化的智能体设计提供路径。
• 通过将领域知识和约束嵌入奖励结构，该方法为金融领域可解释强化学习提供了基础。