[논문 리뷰] The M6 forecasting competition: Bridging the gap between forecasting and investment decisions

Spyros Makridakis, Evangelos Spiliotis외 4명|arXiv (Cornell University)|2023. 10. 20.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

M6 예측 경쟁은 100개의 금융 자산에 대한 실시간 데이터를 활용해 예측 정확도와 투자 수익률 간의 연관성을 평가하며, 지속적인 시장 초월 성과는 흔치 않으며, 예측과 투자 결정 간의 관련성은 약하며, 리스크 모델링이 투자 성과를 크게 향상시킨다는 점을 드러낸다. 이 경쟁은 순수한 예측의 실용적 한계를 부각시키고, 판단, 리스크 모델링, 집단지능을 융합하는 가치를 강조한다.

ABSTRACT

The M6 forecasting competition, the sixth in the Makridakis' competition sequence, is focused on financial forecasting. A key objective of the M6 competition was to contribute to the debate surrounding the Efficient Market Hypothesis (EMH) by examining how and why market participants make investment decisions. To address these objectives, the M6 competition investigated forecasting accuracy and investment performance on a universe of 100 publicly traded assets. The competition employed live evaluation on real data across multiple periods, a cross-sectional setting where participants predicted asset performance relative to that of other assets, and a direct evaluation of the utility of forecasts. In this way, we were able to measure the benefits of accurate forecasting and assess the importance of forecasting when making investment decisions. Our findings highlight the challenges that participants faced when attempting to accurately forecast the relative performance of assets, the great difficulty associated with trying to consistently outperform the market, the limited connection between submitted forecasts and investment decisions, the value added by information exchange and the "wisdom of crowds", and the value of utilizing risk models when attempting to connect prediction and investing decisions.

연구 동기 및 목표

• 실재 금융 시장에서 예측 정확도와 투자 수익률 간의 관계를 분석하기 위해.
• 정확한 예측이 뛰어난 투자 결정으로 이어지는지 조사하기 위해.
• 리스크 모델링, 판단, 집단지능이 투자 성과 향상에 미치는 역할을 평가하기 위해.
• 지속적인 알파 생성이 가능한지 테스트함으로써 효율적 시장 가설(EMH)에 도전하기 위해.
• 伝통적인 예측 경쟁의 한계를 평가하고 실시간 평가 프레임워크의 필요성을 주장하기 위해.

제안 방법

• 참가자들은 다수의 실시간 기간 동안 50개의 미국 주식과 50개의 해외 ETF의 상대적 성과를 예측했다.
• 경쟁은 실제 시장 데이터를 활용한 실시간 평가를 사용하여 숨겨진 테스트 샘플을 피했다.
• 예측 성과와 투자 성과는 별도로 평가되었으며, 각 과제에 대해 별도의 상금이 수여되었다.
• 참가자들은 전체 코드나 모델이 아닌 예측 및 투자 접근 방식의 개요 수준의 기술서를 제출했다.
• 경쟁은 수량적 모델과 판단 기반 접근 방식을 모두 허용했다.
• 경쟁 후 분석에서는 시뮬레이션된 리스크 모델을 활용해 예측 정확도가 투자 성과를 얼마나 향상시킬 수 있었는지 평가했다.

실험 결과

연구 질문

• RQ1 정확한 금융 예측이 실재 시장에서 뛰어난 투자 수익률로 이어지는 정도는 어느 정도인가?
• RQ2 리스크 모델은 예측과 투자 결정 간의 관계에 어떤 영향을 미치는가?
• RQ3 정확한 예측을 한 많은 최고 성과 예측자들이 왜 강력한 투자 수익을 달성하지 못하는가?
• RQ4 금융 예측과 투자 결정에서 '집단의 지혜'는 얼마나 효과적인가?
• RQ5 전문가의 판단은 예측과 투자에서 어떤 역할을 하는가? 모델 기반 접근 방식과 비교해 볼 때 어떻게 다른가?

주요 결과

• 버크셔 해서웨이의 2002년 이후 알파 감소는 38년간의 강력한 성과에도 불구하고 지속적인 시장 초월 성과가 매우 어렵다는 점을 입증한다.
• 최고 성과를 낸 예측자들이 반드시 강력한 투자 수익을 올리지 못함을 고려하면, 예측 정확도와 투자 성공 간의 직접적인 연관성이 약하다는 점을 시사한다.
• 리스크 모델의 통합이 투자 성과를 크게 향상시켰으며, 이는 리스크를 고려한 예측이 투자 결정에 있어 필수적이라는 점을 시사한다.
• 세부 코드나 모델 기술서가 제외됨에 따라 참가자의 접근 방식의 재현 가능성이 제한되어, 경쟁 후 분석에 제약이 있었다.
• 전문 분석가들은 자신의 방법을 완전히 공개하는 것에 관대하지 않아, 실생활 예측 경쟁에서 투명성과 참가 유도 간의 상충 관계를 드러냈다.
• 실시간 데이터를 활용한 평가 방식은 전통적인 테스트 샘플 방법에 비해 평가의 타당성을 높였으며, 실제 의사결정 과정을 더 잘 반영했다.