[論文レビュー] The M6 forecasting competition: Bridging the gap between forecasting and investment decisions

Spyros Makridakis, Evangelos Spiliotis+4 more|arXiv (Cornell University)|Oct 20, 2023

Forecasting Techniques and Applications被引用数 4

ひとこと要約

M6予測コンペティションは、100種類の金融資産のリアルタイムデータを用いて、予測精度と投資パフォーマンスの関連を評価し、一貫した市場効率的アウトパフォーマンスは稀であり、予測と投資意思決定の間には弱い相関関係にとどまり、リスクモデリングが投資成果を著しく向上させることを明らかにした。このコンペティションは、実務における純粋な予測の限界を浮き彫りにし、判断力、リスクモデル、集団知性の統合の価値を強調している。

ABSTRACT

The M6 forecasting competition, the sixth in the Makridakis' competition sequence, is focused on financial forecasting. A key objective of the M6 competition was to contribute to the debate surrounding the Efficient Market Hypothesis (EMH) by examining how and why market participants make investment decisions. To address these objectives, the M6 competition investigated forecasting accuracy and investment performance on a universe of 100 publicly traded assets. The competition employed live evaluation on real data across multiple periods, a cross-sectional setting where participants predicted asset performance relative to that of other assets, and a direct evaluation of the utility of forecasts. In this way, we were able to measure the benefits of accurate forecasting and assess the importance of forecasting when making investment decisions. Our findings highlight the challenges that participants faced when attempting to accurately forecast the relative performance of assets, the great difficulty associated with trying to consistently outperform the market, the limited connection between submitted forecasts and investment decisions, the value added by information exchange and the "wisdom of crowds", and the value of utilizing risk models when attempting to connect prediction and investing decisions.

研究の動機と目的

• 実際の金融市場における予測精度と投資パフォーマンスの関係を検討すること。
• 正確な予測が優れた投資意思決定にどのように結びつくかを調査すること。
• リスクモデリング、判断力、集団知性が投資成果を改善する役割を評価すること。
• 効率的市場仮説（EMH）に挑戦し、一貫したアルファ生成が可能かどうかを検証すること。
• 伝統的な予測コンペティションの限界を評価し、ライブでリアルタイムの評価フレームワークを提唱すること。

提案手法

• 参加者は複数のリアルタイム期間にわたり、50種類の米国株式と50種類の国際的ETFの相対的パフォーマンスを予測した。
• コンペティションは実際の市場データを用いたライブ評価を採用し、隠れたホールドアウトサンプルを回避した。
• 予測と投資パフォーマンスは別々に評価され、それぞれのタスクに対して賞が授与された。
• 参加者は完全なコードやモデルではなく、予測および投資アプローチの高レベルな説明を提出した。
• 定量的モデルと判断に基づくアプローチの両方が許可された。
• コンペティション終了後の分析では、シミュレーテッドリスクモデルを用いて、予測精度がいかに投資成果を改善できたかを評価した。

実験結果

リサーチクエスチョン

• RQ1 正確な金融予測が、実際の市場において優れた投資パフォーマンスにどの程度結びつくのか。
• RQ2 リスクモデルは、予測と投資意思決定の間の関連性にどのように影響するのか。
• RQ3 多くの優れた予測者が、正確な予測をしたにもかかわらず、強力な投資成果を上げられないのはなぜか。
• RQ4 金融予測と投資意思決定における「クラウドの知恵」はどの程度効果的か。
• RQ5 専門家の判断は予測と投資においてどのような役割を果たし、モデルベースのアプローチと比べてどう異なるのか。

主な発見

• 38年間にわたり強力なパフォーマンスを示したにもかかわらず、2002年以降にバラーク・ハザードのアルファが低下したことで、一貫した市場効率的アウトパフォーマンスは極めて困難であることが示された。
• トップパフォーマンスを示した予測者は、必ずしも優れた投資リターンを達成したわけではないため、予測精度と投資成功の間には直接的な強い関連性がないことが示された。
• リスクモデルの統合が投資成果を著しく向上させたことから、リスクを考慮した予測が投資意思決定にとって極めて重要であることが示された。
• 詳細なコードやモデルの記述が欠落していたため、参加者のアプローチの再現性は限定的で、コンペティション後の分析が制限された。
• 専門アナリストは、透明性と参加の両立を図る上で、手法の完全な開示を避けがちであった。
• ライブでリアルタイムのデータを用いることで、評価の妥当性が向上し、従来のホールドアウトサンプル手法と比較して、実世界の意思決定をよりよく反映した。