[论文解读] DoubleEnsemble: A New Ensemble Method Based on Sample Reweighting and Feature Selection for Financial Data Analysis

Chuheng Zhang, Yuanqi Li+4 more|arXiv (Cornell University)|Oct 3, 2020

Stock Market Forecasting Methods参考文献 51被引用 7

一句话总结

DoubleEnsemble 是一种用于金融市场价格预测的新型集成框架，通过结合基于学习轨迹的样本重加权与基于洗牌的特征选择，提升模型的鲁棒性与性能。通过动态加权困难且具有信息量的样本，并选择非冗余特征，该方法在使用 DNN 和梯度提升模型处理加密货币与股票数据时，实现了年化收益率超 50%、夏普比率接近 5.0 且最大回撤低于 6.0% 的表现。

ABSTRACT

Modern machine learning models (such as deep neural networks and boosting decision tree models) have become increasingly popular in financial market prediction, due to their superior capacity to extract complex non-linear patterns. However, since financial datasets have very low signal-to-noise ratio and are non-stationary, complex models are often very prone to overfitting and suffer from instability issues. Moreover, as various machine learning and data mining tools become more widely used in quantitative trading, many trading firms have been producing an increasing number of features (aka factors). Therefore, how to automatically select effective features becomes an imminent problem. To address these issues, we propose DoubleEnsemble, an ensemble framework leveraging learning trajectory based sample reweighting and shuffling based feature selection. Specifically, we identify the key samples based on the training dynamics on each sample and elicit key features based on the ablation impact of each feature via shuffling. Our model is applicable to a wide range of base models, capable of extracting complex patterns, while mitigating the overfitting and instability issues for financial market prediction. We conduct extensive experiments, including price prediction for cryptocurrencies and stock trading, using both DNN and gradient boosting decision tree as base models. Our experiment results demonstrate that DoubleEnsemble achieves a superior performance compared with several baseline methods.

研究动机与目标

• 解决在低信噪比、非平稳的金融数据上应用复杂模型时出现的过拟合与不稳定性问题。
• 在高维金融因子空间中实现有效特征选择的自动化，以避免人工选择成本高且效果不佳的问题。
• 开发一种统一的集成框架，通过动态样本加权与特征选择提升模型泛化能力。
• 在不同金融市场与基模型（如 DNN、XGBoost）上提升预测性能与鲁棒性。
• 通过基于洗牌的方法避免迭代重训练，降低特征选择的计算成本。

提出的方法

• 样本重加权基于每个样本的学习轨迹：损失曲率高或收敛缓慢的样本被赋予更高权重，以强调关键且难以学习的实例。
• 重加权方案利用先前子模型的损失曲线与当前集成模型的损失，以自步学习风格计算样本权重。
• 特征选择通过特征洗牌实现：对每个特征在样本间随机洗牌，损失变化量衡量其贡献；损失变化小的特征被剔除。
• 子模型按顺序训练，使用重加权后的样本与表现最佳的特征子集，确保多样性并减少过拟合。
• 该框架兼容多种基模型，包括深度神经网络与梯度提升树，支持灵活部署。
• 集成模型结合多个子模型，每个子模型使用不同的加权样本与特征集，以提升泛化能力与稳定性。

实验结果

研究问题

• RQ1 基于自步学习轨迹的样本重加权方案能否有效识别并优先处理噪声金融数据中的关键、信息丰富的样本？
• RQ2 基于洗牌的特征选择方法在效率与稳定性方面是否优于传统迭代剔除方法？
• RQ3 将样本重加权与特征选择整合到单一集成框架中，能否显著提升金融预测的性能与鲁棒性？
• RQ4 在不同金融资产与基模型下，DoubleEnsemble 与基线方法相比，在风险调整后收益与回撤方面表现如何？
• RQ5 所提出方法在不同市场条件与基模型架构下是否具备鲁棒性？

主要发现

• DoubleEnsemble 在加密货币与股票价格预测任务中实现了超过 50% 的年化收益率，夏普比率接近 5.0，最大回撤低于 6.0%。
• 该模型优于 SimpleEnsemble 及其他重加权基线方法（如 PCTWeighted、TimeWeighted），后者在不同设置与基模型下表现不一致。
• 样本重加权（SR）过程显著提升了性能，比较 SR+Manual 与 SR+ALL 相对于其 SimpleEnsemble 对应方法，显示出更高的收益率与夏普比率。
• 基于洗牌的特征选择方法在无需迭代重训练的情况下有效识别出相关特征，降低了计算成本，同时保持了模型性能。
• 该框架在不同基模型（MLP 与梯度提升）与金融工具上表现出鲁棒性，表明其具有广泛适用性。
• 样本重加权与特征选择的计算成本相对于子模型训练可忽略不计，且通过并行推理实现了低延迟实时系统部署。