[論文レビュー] Common Mistakes when Applying Computational Intelligence and Machine Learning to Stock Market modelling

Evan Hurwitz, Tshilidzi Marwala|arXiv (Cornell University)|Aug 22, 2012

Stock Market Forecasting Methods参考文献 12被引用数 4

ひとこと要約

本論文は、株式市場予測における計算知能および機械学習を適用する際の5つの一般的な方法論的誤りを特定し分析している：データセットの不足、不適切なスケーリング、時系列追跡の問題、誤ったターゲット定量化、不適切なパフォーマンス指標。これらの誤りを是正するアプローチを提案し、モデルの信頼性とパフォーマンスを向上させることを目的とし、金融分野におけるこれらの技術の信頼性と採用促進を図る。

ABSTRACT

For a number of reasons, computational intelligence and machine learning methods have been largely dismissed by the professional community. The reasons for this are numerous and varied, but inevitably amongst the reasons given is that the systems designed often do not perform as expected by their designers. The reasons for this lack of performance is a direct result of mistakes that are commonly seen in market-prediction systems. This paper examines some of the more common mistakes, namely dataset insufficiency; inappropriate scaling; time-series tracking; inappropriate target quantification and inappropriate measures of performance. The rationale that leads to each of these mistakes is examined, as well as the nature of the errors they introduce to the analysis / design. Alternative ways of performing each task are also recommended in order to avoid perpetuating these mistakes, and hopefully to aid in clearing the way for the use of these powerful techniques in industry.

研究の動機と目的

• 株式市場予測における機械学習および計算知能モデルの広範な懐疑的視線と低性能な結果を是正すること。
• 金融応用分野におけるモデルの妥当性と予測精度を損なう繰り返し発生する方法論的欠陥を特定すること。
• データ処理、モデル設計、評価における一般的な誤りに対する実用的で根拠に基づいた代替手法を提供すること。
• 根本的な設計欠陥を是正することで、定量的金融分野におけるMLおよびCI技術の信頼性と産業的採用を向上させること。

提案手法

• 高頻度取引市場や流動性が低い市場において、限られた歴史的市場データによる過学習のリスクを強調することで、データセットの不足を分析する。
• zスコア正規化や最小-最大スケーリングなどの適切なデータスケーリング技術を推奨し、特徴量の均一性とモデルの安定性を確保する。
• 時系列に配慮したモデルのトレーニングと評価を提言し、データ漏洩を避けるためにウォークフォワード分析やアウトオブサンプルテストを実施する。
• 単純な価格変動ではなく、方向性リターンやボラティリティ調整済みターゲットを用いるなど、適切なターゲット定量化手法を提案する。
• 単純な決定係数（R-squared）や相関係数ではなく、予測力の評価に情報係数（IC）およびICのt統計量を推奨する。
• 相関や正答率だけでは不十分なため、統計的有意性の検定を活用してモデルパフォーマンスの妥当性を検証することを強調する。

実験結果

リサーチクエスチョン

• RQ1 なぜ多くの機械学習モデルが、訓練データを超えて一般化に失敗するのか？
• RQ2 データセットの不足は、金融モデリングにおける過学習と劣悪なアウトオブサンプルパフォーマンスにどのように寄与するのか？
• RQ3 不適切なデータスケーリングは、金融時系列におけるモデルの収束性と解釈可能性にどのような影響を及えるのか？
• RQ4 時系列追跡の誤り（例えば、将来のデータを訓練に使用する、誤ったトレーニング・テスト分割）は、逐次的金融データにおけるモデル評価の妥当性をどのように損なうのか？
• RQ5 金融モデルの予測力を評価する際に最も適切なパフォーマンス指標は何か？なぜ一般的に使われる指標は誤解を招くのか？

主な発見

• データセットの不足は、モデルの複雑さが利用可能なデータポイント数を上回る場合に過学習を引き起こし、一般化能力を低下させる。
• 不適切なスケーリングは特徴量の重要性を歪め、特に特徴量のスケールが著しく異なる場合に最適化を困難にする。
• 未来のデータを訓練に使用する、または誤ったトレーニング・テスト分割といった時系列追跡の誤りは、データ漏洩を引き起こし、楽観的なパフォーマンス推定を生じさせる。
• 単純な価格変動ではなく、方向性またはボラティリティ調整済みリターンとしてターゲットを定量化すると、バイアスが生じやすく不安定なモデルが生まれる。
• 決定係数（R-squared）や単純な相関係数をパフォーマンス指標として使用すると、予測力の低さが隠蔽されることがある。情報係数（IC）およびそのt統計量は、より堅牢な評価を提供する。
• ウォークフォワード分析や統計的有意性の検定といった適切な評価プロトコルを採用することで、金融応用分野におけるモデルの信頼性と信頼性が著しく向上する。