[论文解读] Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance

Shovan Chowdhury, Yuxiao Lin+2 more|arXiv (Cornell University)|Nov 3, 2021

Fault Detection and Control Systems被引用 5

一句话总结

本研究评估了基于树的回归（随机森林）与多重线性回归（MLR）在非正态、多重共线性数据上预测电池循环寿命的表现。尽管进行了数据转换和逐步回归处理，MLR 的 R² 仅达到 81.23%；相比之下，随机森林在无需数据转换的情况下即实现了 97.73% 的 R²，表明其在偏态、高维电池数据集上具有更优性能，这得益于其非参数特性以及对多重共线性和非正态性的强鲁棒性。

ABSTRACT

Battery performance datasets are typically non-normal and multicollinear. Extrapolating such datasets for model predictions needs attention to such characteristics. This study explores the impact of data normality in building machine learning models. In this work, tree-based regression models and multiple linear regressions models are each built from a highly skewed non-normal dataset with multicollinearity and compared. Several techniques are necessary, such as data transformation, to achieve a good multiple linear regression model with this dataset; the most useful techniques are discussed. With these techniques, the best multiple linear regression model achieved an R^2 = 81.23% and exhibited no multicollinearity effect for the dataset used in this study. Tree-based models perform better on this dataset, as they are non-parametric, capable of handling complex relationships among variables and not affected by multicollinearity. We show that bagging, in the use of Random Forests, reduces overfitting. Our best tree-based model achieved accuracy of R^2 = 97.73%. This study explains why tree-based regressions promise as a machine learning model for non-normally distributed, multicollinear data.

研究动机与目标

• 评估基于树的回归与多重线性回归在非正态分布、多重共线性电池性能数据上的表现。
• 评估数据转换与变量选择技术对 MLR 模型准确性和有效性的影响。
• 确定非参数模型（如随机森林）是否能在违反经典回归假设的数据集中优于参数模型。
• 利用模型可解释性技术识别对电池循环寿命最具预测力的特征。
• 为在真实世界数据约束下进行电池退化预测提供模型选择指导。

提出的方法

• 构建两个多重线性回归模型：一个不进行数据转换，另一个采用 Box-Cox 转换以解决非正态性问题。
• 应用逐步回归以缓解 MLR 模型中的多重共线性问题。
• 开发一个单一决策树和一个无需任何数据转换的随机森林回归（RFR）模型，充分利用基于树模型的非参数特性。
• 采用 10 折交叉验证评估模型泛化能力，并计算测试准确率与相关系数。
• 对 MLR 模型进行残差分析以验证假设，而 RFR 模型则无需此类假设。
• 利用 RFR 模型进行特征重要性分析，根据各预测变量对循环寿命预测的贡献度对特征进行排序。

Figure 1: A binomial model describing the fading of the normalized capacity in cycle aging and life.

实验结果

研究问题

• RQ1 数据转换是否能显著提升多重线性回归在非正态、多重共线性电池性能数据上的表现？
• RQ2 在偏态电池数据集上，基于树的模型（如随机森林）与经转换和逐步回归处理的 MLR 模型相比，在 R² 准确率和过拟合方面表现如何？
• RQ3 与参数模型相比，基于树的模型在多大程度上缓解了多重共线性和非正态性问题？
• RQ4 哪些输入特征对电池循环寿命最具预测力？MLR 与 RFR 模型中这些特征的重要性有何差异？
• RQ5 基于树的模型是否能在无需数据转换或假设验证的情况下可靠预测电池寿命终点？

主要发现

• 经过 Box-Cox 转换和逐步回归处理后，表现最佳的多重线性回归模型 R² 达到 81.23%，消除了多重共线性，但仍存在过拟合和预测异常值问题。
• 随机森林回归模型实现了最高的测试准确率（97.73%），无过拟合现象，也无预测异常值，优于所有其他模型。
• 决策树模型在训练集上准确率达 99.73%，测试集准确率为 97.54%，但表现出明显过拟合，通过集成为随机森林后问题得以解决。
• 特征重要性分析显示，在 RFR 模型中，$d_{i}^{0.97}$ 是最具影响力的预测变量（重要性占比 79%），其次为 $d_{i}^{0.98}$（16%）和 $d_{i}^{0.99}$（5%）。
• 预测值与实际值之间的相关系数在基于树的模型中达到 0.99，显著高于 MLR 模型中观察到的 0.88–0.91。
• 基于树的模型，尤其是随机森林，表现出对数据偏态和多重共线性的强鲁棒性，且无需数据转换或假设检验。

(a) $d_{i}^{0.99}$ vs $\frac{1}{n_{i}^{0.8}}$