[논문 리뷰] DoubleEnsemble: A New Ensemble Method Based on Sample Reweighting and Feature Selection for Financial Data Analysis

Chuheng Zhang, Yuanqi Li외 4명|arXiv (Cornell University)|2020. 10. 03.

Stock Market Forecasting Methods참고 문헌 51인용 수 7

한 줄 요약

DoubleEnsemble는 학습 궤적 기반 샘플 재가중과 셔플링 기반 특성 선택을 결합하여 모델의 강건성과 성능을 향상시키는 새로운 앙상블 프레임워크이다. 어려운 유의미한 샘플을 동적으로 가중하고 중복되지 않는 특성을 선택함으로써, DNN 및 기울기 부스팅 모델을 사용하여 암호화폐 및 주식 데이터에서 연간 수익률 50% 이상, 샤프 지수 약 5.0, 최대 손실률 6.0% 미만을 달성한다.

ABSTRACT

Modern machine learning models (such as deep neural networks and boosting decision tree models) have become increasingly popular in financial market prediction, due to their superior capacity to extract complex non-linear patterns. However, since financial datasets have very low signal-to-noise ratio and are non-stationary, complex models are often very prone to overfitting and suffer from instability issues. Moreover, as various machine learning and data mining tools become more widely used in quantitative trading, many trading firms have been producing an increasing number of features (aka factors). Therefore, how to automatically select effective features becomes an imminent problem. To address these issues, we propose DoubleEnsemble, an ensemble framework leveraging learning trajectory based sample reweighting and shuffling based feature selection. Specifically, we identify the key samples based on the training dynamics on each sample and elicit key features based on the ablation impact of each feature via shuffling. Our model is applicable to a wide range of base models, capable of extracting complex patterns, while mitigating the overfitting and instability issues for financial market prediction. We conduct extensive experiments, including price prediction for cryptocurrencies and stock trading, using both DNN and gradient boosting decision tree as base models. Our experiment results demonstrate that DoubleEnsemble achieves a superior performance compared with several baseline methods.

연구 동기 및 목표

• 저 신호 대 잡음 비율, 비 stationary한 금융 데이터에 복잡한 모델을 적용할 때 발생하는 과적합과 불안정성을 해결하기 위해.
• 수동 선택이 비용이 많이 들고 열등한 결과를 낳는 고차원 금융 요인 공간에서 효과적인 자동 특성 선택을 자동화하기 위해.
• 동적 샘플 가중치 부여와 특성 선택을 통해 일반화 능력을 향상시키는 통합된 앙상블 프레임워크를 개발하기 위해.
• 다양한 금융 시장과 기초 모델(예: DNN, XGBoost)에서 예측 성능과 강건성을 향상시키기 위해.
• 반복적 재학습을 피하는 셔플링 기반 방법을 통해 특성 선택의 계산 비용을 줄이기 위해.

제안 방법

• 샘플 재가중은 각 샘플의 학습 궤적에 기반한다: 높은 손실 곡률 또는 느린 수렴을 보이는 샘플은 핵심이 되고 학습하기 어려운 사례임을 강조하기 위해 더 높은 가중치가 부여된다.
• 재가중 기법은 이전의 부분 모델의 손실 곡선과 현재 앙상블의 손실을 사용하여, 자기 편성 학습 방식과 유사하게 샘플 가중치를 계산한다.
• 특성 선택은 특성 셔플링을 통해 수행된다: 각 특성이 샘플 간에 무작위로 섞어지고, 그로 인한 손실 변화가 특성의 기여도를 측정한다; 손실 변화가 작은 특성은 기각된다.
• 부분 모델들은 재가중된 샘플과 상위 성능을 보이는 특성의 부분 집합을 사용하여 순차적으로 학습되며, 다양성과 과적합 감소를 보장한다.
• 이 프레임워크는 딥 네ural 네트워크와 기울기 부스팅 트리와 같은 다양한 기초 모델과 호환되어 민첩한 구현이 가능하다.
• 앙상블은 서로 다른 가중 샘플과 특성 집합을 사용하여 학습된 다수의 부분 모델을 조합하여 일반화 능력과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기 편성 학습 궤적 기반 샘플 재가중 기법이 잡음이 많은 금융 데이터에서 핵심적이고 유의미한 샘플을 효과적으로 식별하고 우선순위를 매울 수 있는가?
• RQ2 셔플링 기반 특성 선택 방법이 기존의 반복적 제거 방법에 비해 효율성과 안정성 측면에서 금융 모델에 뛰어나게 작용하는가?
• RQ3 샘플 재가중과 특성 선택을 하나의 앙상블 프레임워크에 통합함으로써 금융 예측의 성능과 강건성이 크게 향상될 수 있는가?
• RQ4 다양한 금융 자산과 기초 모델에서 기준 모델 대비 리스크 조정 수익률과 손실률 측면에서 DoubleEnsemble는 어떻게 비교되는가?
• RQ5 제안된 방법은 다양한 시장 조건과 기초 모델 아키텍처에서 강건한가?

주요 결과

• DoubleEnsemble는 암호화폐 및 주가 예측 과제에서 연간 수익률 50% 이상, 샤프 지수 약 5.0, 최대 손실률 6.0% 미만을 달성했다.
• 모델은 SimpleEnsemble 및 기타 재가중 기반 기준 모델(PCTWeighted, TimeWeighted)보다 뛰어난 성능을 보였으며, 설정과 기초 모델에 따라 일관성 없는 성능을 보인 기준 모델들과는 대조적으로 우수했다.
• 샘플 재가중(SR) 과정은 성능 향상에 크게 기여했으며, SR+Manual 및 SR+ALL을 SimpleEnsemble 대비 비교했을 때 더 높은 수익률과 샤프 지수를 기록했다.
• 셔플링 기반 특성 선택 방법은 반복적 재학습 없이도 관련 특성을 효과적으로 식별했으며, 계산 비용을 줄이면서도 모델 성능를 유지했다.
• 이 프레임워크는 MLP와 기울기 부스팅 모델 등 다양한 기초 모델과 금융 상품에서 강건성을 입증하여 광범위한 적용 가능성을 보였다.
• 샘플 재가중과 특성 선택의 계산 비용은 부분 모델 학습에 비해 무시할 만큼 작았으며, 병렬 추론을 통해 실시간 시스템에 저지연 배포가 가능했다.