[論文レビュー] Evaluating the Performance of Machine Learning Algorithms in Financial Market Forecasting: A Comprehensive Survey

Lukas Ryll, Sebastian Seidens|arXiv (Cornell University)|Jun 18, 2019

Stock Market Forecasting MethodsDecision Sciences被引用数 21

ひとこと要約

本論文は、金融市場予測における機械学習に関する150件以上の研究を包括的に調査し、7つの実験的パラメータにおいてアルゴリズムのパフォーマンスを評価している。機械学習モデル、特にLSTMやGRUのような再帰的ニューラルネットワーク（RNN）は、複数の資産クラスおよび地域にわたり、金融時系列データに内在する予測可能な時間的依存性を捉える能力があるため、従来の確率的モデルやフィードフォワードネットワークを著しく上回っていることが判明した。

ABSTRACT

With increasing competition and pace in the financial markets, robust forecasting methods are becoming more and more valuable to investors. While machine learning algorithms offer a proven way of modeling non-linearities in time series, their advantages against common stochastic models in the domain of financial market prediction are largely based on limited empirical results. The same holds true for determining advantages of certain machine learning architectures against others. This study surveys more than 150 related articles on applying machine learning to financial market forecasting. Based on a comprehensive literature review, we build a table across seven main parameters describing the experiments conducted in these studies. Through listing and classifying different algorithms, we also introduce a simple, standardized syntax for textually representing machine learning algorithms. Based on performance metrics gathered from papers included in the survey, we further conduct rank analyses to assess the comparative performance of different algorithm classes. Our analysis shows that machine learning algorithms tend to outperform most traditional stochastic methods in financial market forecasting. We further find evidence that, on average, recurrent neural networks outperform feed forward neural networks as well as support vector machines which implies the existence of exploitable temporal dependencies in financial time series across multiple asset classes and geographies.

研究の動機と目的

• 異なる研究において機械学習アルゴリズムの金融市場予測性能を体系的に評価すること。
• 金融時系列予測における機械学習応用の分野において、学術的な統合と標準化の欠如を是正すること。
• 複数の市場および資産クラスにわたる実証的パフォーマンスに基づき、最も効果的なアルゴリズムクラスを特定・ランク付けすること。
• 今後の再現可能性と比較可能性を向上させるために、テキストにおける機械学習アルゴリズムを表すための標準化された構文を開発すること。
• 再帰的ネットワークが長期的な時間的依存性をモデル化できる能力のおかげで、フィードフォワードモデルを上回るという仮説を検証すること。

提案手法

• 金融予測における機械学習に関する150件以上の研究を体系的文献レビューし、主要な実験的パrameterを抽出した。
• アルゴリズムタイプ、データセット、予測期間、パフォーマンス指標、市場、資産クラス、地理の7つの主要パラメータを用いて、比較表を構築した。
• 省略語と階層的表記法を用いた、人間が読みやすい標準化された構文を提案した。
• 含まれる研究からパフォーマンス指標（例：正答率、AUC、RMSE）を収集し、アルゴリズムクラスごとにランク分析を実施した。
• 非パラメトリックな統計的ランク手法を適用し、個々の研究設計に起因するバイアスを最小限に抑えて、アルゴリズムクラスの相対的パフォーマンスを評価した。
• 交差検証と汎化指標を用いて、評価プロセスにおけるモデルの頑健性を確保し、過学習を回避した。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習アルゴリズムクラスが、金融時系列予測において、従来の確率的モデルを一貫して上回るか？
• RQ2 再帰的ニューラルネットワーク（例：LSTM、GRU）は、フィードフォワードネットワークやサポートベクターマシンに比べて、金融リターン予測においてどの程度優れているか？
• RQ3 株式、為替、商品などの異なる資産クラスおよび地理的市場において、一貫したパフォーマンス差が見られるか？
• RQ4 データセット、予測期間、評価指標を制御した場合、パフォーマンスランクはどのように変化するか？
• RQ5 機械学習アルゴリズムを記述するための標準化された構文は、金融予測研究における再現性と比較可能性を向上させることができるか？

主な発見

• 機械学習アルゴリズム、特に再帰的ニューラルネットワーク（RNN）は、非線形的かつ時間的依存性をモデル化できる能力のおかげで、金融市場予測において従来の確率的モデルを一貫して上回っている。
• LSTM や GRU などの再帰的ニューラルネットワーク（RNN）は、複数のデータセットおよび市場において、フィードフォワードネットワークやサポートベクターマシンよりも著しく高いパフォーマンスランクを達成している。
• 本研究では、RNNが金融時系列における長期的時間的ダイナミクスを捉える点で統計的に有意な優位性を示しており、市場データに予測可能なパターンが存在する可能性を示唆している。
• パフォーマンスランクは、株式、為替、商品などの異なる資産クラスおよび地理的市場においても安定しており、RNNベースのモデルの広範な適用可能性を示している。
• 提案された機械学習アルゴリズム記述の標準化された構文により、今後の研究における明確なコミュニケーションと再現可能性が向上した。
• サポートベクターマシンとフィードフォワードネットワークは中程度のパフォーマンスを示しているが、特に長期予測タスクではRNNに劣っている。