[논문 리뷰] Common Mistakes when Applying Computational Intelligence and Machine Learning to Stock Market modelling

Evan Hurwitz, Tshilidzi Marwala|arXiv (Cornell University)|2012. 08. 22.

Stock Market Forecasting Methods참고 문헌 12인용 수 4

한 줄 요약

이 논문은 주식 시장 예측에 계산 지능 및 기계 학습을 적용할 때 흔히 발생하는 다섯 가지 방법론적 오류를 특정하고 분석한다: 데이터셋 부족, 부적절한 스케일링, 시계열 추적 문제, 잘못된 목표 양자화, 부적절한 성능 평가 지표. 이를 바탕으로 모델의 신뢰성과 성능을 향상시키기 위한 수정 접근법을 제안하며, 금융 분야에서 이러한 기법의 신뢰성과 보편성 향상을 목표한다.

ABSTRACT

For a number of reasons, computational intelligence and machine learning methods have been largely dismissed by the professional community. The reasons for this are numerous and varied, but inevitably amongst the reasons given is that the systems designed often do not perform as expected by their designers. The reasons for this lack of performance is a direct result of mistakes that are commonly seen in market-prediction systems. This paper examines some of the more common mistakes, namely dataset insufficiency; inappropriate scaling; time-series tracking; inappropriate target quantification and inappropriate measures of performance. The rationale that leads to each of these mistakes is examined, as well as the nature of the errors they introduce to the analysis / design. Alternative ways of performing each task are also recommended in order to avoid perpetuating these mistakes, and hopefully to aid in clearing the way for the use of these powerful techniques in industry.

연구 동기 및 목표

• 기계 학습 및 계산 지능 모델이 주식 시장 예측에서 널리 퍼져 있는 의심과 열악한 성능을 해결하기 위해.
• 금융 응용 분야에서 모델의 타당성과 예측 정확도를 떨어뜨리는 반복적인 방법론적 결함을 특정하기 위해.
• 데이터 처리, 모델 설계, 평가에 있어 일반적인 실수들을 수정할 수 있는 실용적이고 근거 기반의 대안을 제공하기 위해.
• 기본 설계 결함를 수정함으로써 기계 학습 및 계산 지능 기법이 정량 금융 분야에서의 신뢰성과 산업적 도입을 향상시키기 위해.

제안 방법

• 한정된 역사적 시장 데이터로 인해 과적합 위험이 증가하는 점을 강조함으로써 데이터셋 부족 문제를 분석한다. 특히 고주기 또는 유동성이 낮은 시장에서 더욱 그렇다.
• 특징의 균일성과 모델 안정성을 확보하기 위해 z-스코어 정규화나 최소-최대 스케일링과 같은 적절한 데이터 스케일링 기법을 권장한다.
• 시계열 인식 기반의 모델 훈련 및 평가를 주장하며, 데이터 누출을 방지하기 위해 워크-포워드 분석과 샘플 외 테스트를 포함한다.
• 원시 가격 변화가 아닌 방향성 수익률이나 변동성 조정된 목표치를 사용하는 것과 같은 적절한 목표 양자화 방법을 제안한다.
• 단순한 R-제곱 또는 상관계수 대신 예측 능력을 평가하기 위해 정보 계수(IC)와 IC의 t-통계량을 사용할 것을 권장한다.
• 예측 성능이 순수한 상관관계나 정확도를 넘어서 통계적 유의성 테스트를 통해 검증되어야 한다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 왜 많은 기계 학습 모델이 주식 시장 예측에서 훈련 데이터를 초월해 일반화하지 못하는가?
• RQ2 데이터셋 부족은 금융 모델링에서 과적합과 샘플 외 성능 열악함에 어떻게 기여하는가?
• RQ3 부적절한 데이터 스케일링은 금융 시계열에서 모델 수렴과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 시계열 추적 오류는 순차적 금융 데이터에서 모델 평가의 타당성을 어떻게 위협하는가?
• RQ5 금융 모델의 예측 능력을 평가하는 데 가장 적절한 성능 지표는 무엇이며, 왜 일반적인 지표들이 오해의 소지가 있는가?

주요 결과

• 데이터셋 부족은 모델 복잡도가 이용 가능한 데이터 포인트 수를 초과할 경우 과적합을 유도하며, 일반화 능력을 저하시킨다.
• 부적절한 스케일링은 특징 중요도를 왜곡하고 최적화 과정을 방해하며, 특히 특징의 크기가 크게 다를 경우 더욱 심각하다.
• 미래 데이터를 훈련에 사용하거나 올바른 훈련-테스트 분할을 하지 않는 시계열 추적 오류는 데이터 누출을 초래하고 과도하게 낙관적인 성능 추정을 유도한다.
• 원시 가격 변화로 목표를 정량화할 경우 편향되고 불안정한 모델이 만들어진다.
• R-제곱이나 단순 상관계수를 성능 지표로 사용할 경우 예측 능력이 속임을 감추며, 정보 계수(IC)와 그 t-통계량은 더 강인한 평가를 제공한다.
• 워크-포워드 분석과 통계적 유의성 테스트와 같은 적절한 평가 프로토콜을 도입하면 금융 응용 분야에서 모델의 신뢰성과 신뢰도가 크게 향상된다.