[论文解读] Evaluating the Performance of Machine Learning Algorithms in Financial Market Forecasting: A Comprehensive Survey

Lukas Ryll, Sebastian Seidens|arXiv (Cornell University)|Jun 18, 2019

Stock Market Forecasting MethodsDecision Sciences被引用 21

一句话总结

本文对金融市场预测中机器学习的150余项研究进行了全面调查，评估了七种实验参数下算法的性能。研究发现，与传统随机模型和前馈网络相比，机器学习模型（尤其是LSTM和GRU等循环神经网络）显著更优，因其能够捕捉多种资产类别和地理区域的金融时间序列中可 exploited 的时间依赖性。

ABSTRACT

With increasing competition and pace in the financial markets, robust forecasting methods are becoming more and more valuable to investors. While machine learning algorithms offer a proven way of modeling non-linearities in time series, their advantages against common stochastic models in the domain of financial market prediction are largely based on limited empirical results. The same holds true for determining advantages of certain machine learning architectures against others. This study surveys more than 150 related articles on applying machine learning to financial market forecasting. Based on a comprehensive literature review, we build a table across seven main parameters describing the experiments conducted in these studies. Through listing and classifying different algorithms, we also introduce a simple, standardized syntax for textually representing machine learning algorithms. Based on performance metrics gathered from papers included in the survey, we further conduct rank analyses to assess the comparative performance of different algorithm classes. Our analysis shows that machine learning algorithms tend to outperform most traditional stochastic methods in financial market forecasting. We further find evidence that, on average, recurrent neural networks outperform feed forward neural networks as well as support vector machines which implies the existence of exploitable temporal dependencies in financial time series across multiple asset classes and geographies.

研究动机与目标

• 系统评估不同研究中机器学习算法在金融市场预测中的表现。
• 解决金融时间序列预测中机器学习应用缺乏学术整合与标准化的问题。
• 基于多市场与多资产类别中的实证表现，识别并排名最有效的算法类别。
• 提出一种标准化语法，用于在文本中表示机器学习算法，以提升可重现性与可比性。
• 检验假设：由于能够建模长期时间依赖性，循环网络优于前馈模型。

提出的方法

• 对150余项金融预测中机器学习的研究开展系统性文献综述，提取关键实验参数。
• 构建涵盖七个主要参数的对比表格：算法类型、数据集、预测时域、性能指标、市场、资产类别和地理区域。
• 提出一种标准化、人类可读的语法，使用缩写与分层表示法描述机器学习算法。
• 从纳入的研究中收集性能指标（如准确率、AUC、RMSE），并对算法类别进行排名分析。
• 应用非参数统计排名方法，评估算法类别的相对表现，同时最小化单个研究设计带来的偏差。
• 使用交叉验证与泛化指标，确保评估过程中的模型鲁棒性，避免过拟合。

实验结果

研究问题

• RQ1 哪些机器学习算法类别在金融时间序列预测中持续优于传统随机模型？
• RQ2 循环神经网络（如LSTM、GRU）在预测金融收益方面，相较于前馈网络和支持向量机，优势有多大？
• RQ3 在不同资产类别（股票、外汇、大宗商品）和地理市场中，是否存在一致的性能差异？
• RQ4 在控制数据集、预测时域和评估指标后，性能排名如何变化？
• RQ5 是否可通过标准化语法描述机器学习算法，提升金融预测研究中的可重现性与可比性？

主要发现

• 机器学习算法，特别是循环神经网络，由于能够建模非线性和时间依赖性，持续优于传统随机模型在金融市场预测中的表现。
• 在多个数据集和市场中，循环神经网络（LSTM、GRU）的性能排名显著高于前馈网络和支持向量机。
• 本研究识别出RNN在捕捉金融时间序列长期时间动态方面具有统计显著优势，表明市场数据中存在可利用的模式。
• 性能排名在不同资产类别（股票、外汇、大宗商品）和地理区域中保持稳健，表明基于RNN的模型具有广泛适用性。
• 所提出的机器学习算法描述标准化语法，可提升未来研究中沟通的清晰度与可重现性。
• 支持向量机和前馈网络表现中等，但被RNN超越，尤其在长时域预测任务中。