[论文解读] A Novel Neuromorphic Processors Realization of Spiking Deep Reinforcement Learning for Portfolio Management

Seyyed Amirhossein Saeidi, Forouzan Fallah+2 more|arXiv (Cornell University)|Mar 26, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种专为英特尔Loihi神经形态处理器优化的脉冲深度强化学习（SDRL）算法，以提升金融市场的投资组合管理效果。通过利用事件驱动计算，该方法在能效方面相比高端CPU和GPU分别实现186倍至516倍的降低，在处理速度方面分别实现1.3倍至2.0倍的提升，同时在2016至2021年期间的加密货币市场中有效管理风险并实现收益最大化。

ABSTRACT

The process of continuously reallocating funds into financial assets, aiming to increase the expected return of investment and minimizing the risk, is known as portfolio management. Processing speed and energy consumption of portfolio management have become crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces and environment uncertainty, which their limited onboard resources cannot offset. Emerging neuromorphic chips inspired by the human brain increase processing speed by up to 1000 times and reduce power consumption by several orders of magnitude. This paper proposes a spiking deep reinforcement learning (SDRL) algorithm that can predict financial markets based on unpredictable environments and achieve the defined portfolio management goal of profitability and risk reduction. This algorithm is optimized forIntel's Loihi neuromorphic processor and provides 186x and 516x energy consumption reduction is observed compared to the competitors, respectively. In addition, a 1.3x and 2.0x speed-up over the high-end processors and GPUs, respectively. The evaluations are performed on cryptocurrency market between 2016 and 2021 the benchmark.

研究动机与目标

• 解决投资组合管理中高维、不确定金融环境日益增长的计算与能耗需求。
• 降低实时金融决策系统中的能耗并提升处理速度。
• 开发一种原生优化于神经形态硬件（如英特尔Loihi）的脉冲深度强化学习算法。
• 基于2016至2021年的真实加密货币数据，评估SDRL方法在盈利能力和风险控制方面的表现。

提出的方法

• 作者设计了一种脉冲深度强化学习（SDRL）算法，利用事件驱动的脉冲神经元处理金融时间序列数据。
• 该算法在英特尔Loihi神经形态处理器上编译并执行，利用其异步、低功耗的计算模型。
• 将神经网络层转换为使用时间编码表示市场特征和动作的脉冲神经网络（SNN）。
• 对强化学习策略梯度进行适配，以支持基于脉冲的反向传播，用于训练SNN策略。
• 系统采用奖励塑形机制，以平衡投资组合配置中的收益最大化与风险最小化。
• 在实时交易约束条件下，使用加密货币价格数据基准（2016–2021）对架构进行评估。

实验结果

研究问题

• RQ1 脉冲深度强化学习模型是否能在高维、不确定的金融环境中有效学习最优投资组合配置策略？
• RQ2 与传统CPU和GPU实现相比，神经形态优化的SDRL系统的能效与推理速度如何？
• RQ3 基于事件的脉冲计算在动态金融时间序列预测与交易中能在多大程度上维持性能？
• RQ4 与基线强化学习模型相比，SDRL模型在波动性加密货币市场中是否实现了更优的风险调整后收益？
• RQ5 Loihi神经形态处理器在实时、低延迟投资组合管理应用中的可扩展性如何？

主要发现

• 所提出的SDRL算法相比CPU和GPU基线，分别实现了186倍和516倍的能耗降低。
• 在推理性能方面，系统相比高端传统CPU实现了1.3倍的速度提升，相比GPU实现了2.0倍的速度提升。
• 该算法成功学习到在盈利与风险之间取得平衡，实现了2016至2021年期间在波动性加密货币市场中的稳定投资组合回报。
• 尽管采用稀疏、异步的脉冲处理方式，神经形态实现仍保持了市场预测与动作选择的高精度。
• Loihi优化的SDRL框架展现出良好的可扩展性与低延迟性能，适用于实时金融决策系统。
• 结果证实，神经形态硬件显著提升了深度强化学习在金融应用中的效率。