[论文解读] Agent Inspired Trading Using Recurrent Reinforcement Learning and LSTM Neural Networks

David W. Lu|arXiv (Cornell University)|Jul 23, 2017

Complex Systems and Time Series Analysis被引用 25

一句话总结

本文提出一种基于长短期记忆（LSTM）网络的循环强化学习智能体，能够从原始外汇（FX）价格数据中自主学习盈利且具备风险意识的交易策略。该系统采用策略梯度方法优化长期回报，并优于非LSTM基线模型，在风险调整后收益方面表现更优——尤其在以下行偏差比率进行训练时，能有效降低市场波动时的回撤。

ABSTRACT

With the breakthrough of computational power and deep neural networks, many areas that we haven't explore with various techniques that was researched rigorously in past is feasible. In this paper, we will walk through possible concepts to achieve robo-like trading or advising. In order to accomplish similar level of performance and generality, like a human trader, our agents learn for themselves to create successful strategies that lead to the human-level long-term rewards. The learning model is implemented in Long Short Term Memory (LSTM) recurrent structures with Reinforcement Learning or Evolution Strategies acting as agents The robustness and feasibility of the system is verified on GBPUSD trading.

研究动机与目标

• 开发一种通过试错式强化学习自主学习最优策略的交易智能体，以模拟人类交易员的行为。
• 通过使用基于循环强化学习的直接策略优化，克服基于价值函数的强化学习方法的局限性（如维度灾难与脆弱性）。
• 利用LSTM单元与Dropout正则化，提升循环结构的训练稳定性并缓解梯度消失问题。
• 在不同风险调整目标（包括夏普比率与下行偏差比率）下评估性能，以衡量风险感知交易行为。
• 利用实时FX数据验证智能体在真实环境下的可行性与鲁棒性，尤其在高波动性与低流动性条件下。
• 通过直接在原始价格数据上进行训练，避免人工特征工程与领域特定启发式规则，实现最小化人工干预。

提出的方法

• 采用循环强化学习框架，智能体直接从原始价格序列中学习策略，使用策略梯度方法，避免价值函数近似。
• 使用长短期记忆（LSTM）网络建模金融时间序列中的时间依赖性，并在时间反向传播过程中缓解梯度消失问题。
• 在LSTM层中应用Dropout正则化，以提升泛化能力并减少训练过程中的过拟合。
• 通过在期望累积回报上进行梯度上升来优化智能体策略，目标函数采用夏普比率与下行偏差比率形式。
• 采用进化策略与Nelder-Mead方法作为无导数优化的替代方案，以验证在噪声大、非平稳数据下的鲁棒性与收敛性。
• 在GBPUSD外汇数据上训练与测试智能体，通过对比不同偏置项（b=1与b=5）的性能，平衡交易频率与成本。

实验结果

研究问题

• RQ1 在原始FX价格数据上训练的循环强化学习智能体，能否在无需人工特征工程的情况下学习到盈利且可泛化的交易策略？
• RQ2 与标准RNN相比，LSTM网络在金融时间序列交易中如何提升训练稳定性和性能？
• RQ3 在高波动性市场中，优化下行偏差比率是否能带来优于优化夏普比率的风险调整后表现？
• RQ4 超参数如偏置项（b）如何影响现实交易场景中的交易频率与整体盈利能力？
• RQ5 该智能体能否在不同市场状态（包括低流动性期）下实现稳健且低干预的性能？

主要发现

• 基于LSTM的循环强化学习智能体在训练结束时的总盈利高于标准RNN基线模型，证明长期记忆在金融序列建模中的有效性。
• 当使用偏置项b=5进行训练时，智能体的平均交易持续时间从约6小时降低至约70小时，显著减少交易成本并提升净盈利。
• 以下行偏差比率（DDR）为目标进行训练的智能体表现出更低的回撤与更强的风险规避行为，尤其在市场波动剧烈时表现优于基于夏普比率优化的智能体。
• b=1时的性能劣于初始权重，表明次优的超参数选择可能损害学习效果，凸显了精细调参的重要性。
• 该系统成功在无领域特定启发式规则的情况下发现盈利策略，证实了端到端自学习机器人交易智能体在真实FX数据上的可行性。
• 实证结果表明，如DDR等风险感知目标在下行保护方面具有显著效果，使该智能体适用于被动或风险规避型投资策略。