[论文解读] Robust Log-Optimal Strategy with Reinforcement Learning

Yifeng Guo, Xingyu Fu+2 more|arXiv (Cornell University)|May 1, 2018

Advanced Bandit Algorithms Research参考文献 13被引用 5

一句话总结

本文提出了一种鲁棒对数最优策略（RLOS），通过二次泰勒展开近似广义对数最优策略（GLOS），避免了复杂的CDF估计，从而提升了计算效率和鲁棒性。进一步地，将RLOS与深度强化学习相结合，形成RLOSRL，在CSI300成分股的多次回测中表现优于基线策略，展现出更优的盈利能力和稳定性。

ABSTRACT

We proposed a new Portfolio Management method termed as Robust Log-Optimal Strategy (RLOS), which ameliorates the General Log-Optimal Strategy (GLOS) by approximating the traditional objective function with quadratic Taylor expansion. It avoids GLOS's complex CDF estimation process,hence resists the "Butterfly Effect" caused by estimation error. Besides,RLOS retains GLOS's profitability and the optimization problem involved in RLOS is computationally far more practical compared to GLOS. Further, we combine RLOS with Reinforcement Learning (RL) and propose the so-called Robust Log-Optimal Strategy with Reinforcement Learning (RLOSRL), where the RL agent receives the analyzed results from RLOS and observes the trading environment to make comprehensive investment decisions. The RLOSRL's performance is compared to some traditional strategies on several back tests, where we randomly choose a selection of constituent stocks of the CSI300 index as assets under management and the test results validate its profitability and stability.

研究动机与目标

• 为解决由于复杂CDF估计导致的广义对数最优策略（GLOS）在计算上的不可行性及其对估计误差的敏感性。
• 开发一种计算高效且鲁棒的GLOS替代方案，同时保持其盈利能力和长期优势。
• 将RLOS与强化学习相结合，构建一个能够从市场反馈中学习的动态、自适应投资组合管理机制。
• 通过实证方法验证RLOS与RLOSRL相对于传统策略（如Follow-the-Winner、Follow-the-Loser和Naïve-Average）的性能与稳定性。
• 探索该集成策略在具有非平稳动态特征的真实市场数据中的可行性。

提出的方法

• RLOS通过在最优投资组合权重处对GLOS目标函数进行二阶泰勒展开来近似，从而替代直接的CDF估计。
• 该方法保留了核心的对数最优收益最大化目标，同时显著降低了计算复杂度和对估计误差的敏感性。
• RLOSRL使用带有卷积神经网络（CNN）的深度Q网络处理市场数据，并将RLOS输出作为输入，由基于奖励的强化学习智能体据此指导交易决策。
• 强化学习智能体采用泊松分布采样的经验回放机制进行训练，以优先关注近期市场数据，提升在非平稳金融环境中的适应能力。
• 采用结合对数收益最大化、跑输惩罚项以及L2正则化（权重衰减）的损失函数，以优化策略网络。
• 通过在历史CSI300数据上进行实证验证，对学习率衰减、动量和正则化等超参数进行调优。

实验结果

研究问题

• RQ1 对GLOS目标函数的鲁棒近似是否能在不牺牲盈利能力的前提下降低计算复杂度和估计敏感性？
• RQ2 将RLOS与强化学习结合后，能否在动态、噪声较大的金融市场中提升投资组合表现？
• RQ3 在财富增长与稳定性方面，RLOSRL在多大程度上优于Follow-the-Winner、Follow-the-Loser和Naïve-Average等传统策略？
• RQ4 在非平稳金融时间序列上，使用泊松分布采样的经验回放在多大程度上提升了强化学习智能体的性能？
• RQ5 RLOSRL框架是否可推广至其他资产类别或高频交易环境？

主要发现

• 在所有包含500、1000和1500个交易日的回测中，RLOS均持续优于Naïve-Average、Follow-the-Winner和Follow-the-Loser。
• 在每次回测中，RLOSRL实现的累计财富均高于RLOS，证明了强化学习在决策过程中的附加价值。
• RLOSRL在长周期内保持了稳定且盈利的表现，表明其对市场动态具有强大的适应能力。
• 使用泊松分布采样的经验回放显著提升了模型的收敛速度，并增强了对近期市场状况的响应能力。
• 将RLOS与强化学习结合显著提升了决策质量，表现为相较于独立的RLOS，财富积累效果更优。
• 该方法通过避免直接估计CDF，对估计误差表现出鲁棒性，降低了‘蝴蝶效应’的风险。