[论文解读] A case study : Influence of Dimension Reduction on regression trees-based Algorithms -Predicting Aeronautics Loads of a Derivative Aircraft

Edouard Fournier, Stéphane Grihon+1 more|arXiv (Cornell University)|Nov 16, 2018

Aerospace and Aviation Technology被引用 3

一句话总结

本研究探讨了降维技术——特别是主成分分析（PCA）、多项式拟合及其组合——对基于回归树的模型在衍生飞机气动载荷预测中的影响。研究发现，仅对输出变量应用PCA能显著提升外推性能，其中AdaBoost结合随机森林（AdaBoost with Random Forest）在准确率与计算效率之间实现了最佳平衡。

ABSTRACT

In aircraft industry, market needs evolve quickly in a high competitiveness context. This requires adapting a given aircraft model in minimum time considering for example an increase of range or the number of passengers (cf A330 NEO family). The computation of loads and stress to resize the airframe is on the critical path of this aircraft variant definition: this is a consuming and costly process, one of the reason being the high dimen-sionality and the large amount of data. This is why Airbus has invested since a couple of years in Big Data approaches (statistic methods up to machine learning) to improve the speed, the data value extraction and the responsiveness of this process. This paper presents recent advances in this work made in cooperation between Airbus, ENAC and Institut de Math{é}-matiques de Toulouse in the framework of a proof of value sprint project. It compares the influence of three dimensional reduction techniques (PCA, polynomial fitting, combined) on the extrapolation capabilities of Regression Trees based algorithms for loads prediction. It shows that AdaBoost with Random Forest offers promising results in average in terms of accuracy and computational time to estimate loads on which a PCA is applied only on the outputs.

研究动机与目标

• 解决衍生飞机设计中高维、计算成本高昂的载荷与应力分析挑战。
• 通过机器学习与降维技术，降低计算时间，提升飞机变体开发的响应速度。
• 评估降维是否能提升回归树模型在已知设计空间之外的外推能力。
• 比较PCA、多项式拟合及其组合技术在提升载荷预测任务模型性能方面的有效性。
• 针对真实航空数据，优化并验证基于回归树的模型（如随机森林、AdaBoost）在有无降维情况下的性能。

提出的方法

• 对输出变量（安全系数）应用主成分分析（PCA），以在保留方差的前提下降低维度。
• 采用多项式拟合作为替代的降维技术，以建模输出空间中的非线性关系。
• 结合PCA与多项式拟合，探索其在模型泛化与外推性能上的协同效应。
• 训练并验证多种基于回归树的模型：随机森林（RF）、AdaBoost结合随机森林（ADB-RF）、AdaBoost结合决策树（ADB-DT）、装袋法（Bagging）以及梯度提升机（GBM）。
• 通过5折交叉验证优化超参数，未指定时采用scikit-learn的默认设置。
• 使用决定系数（R²）与均方误差（MSE）等指标评估模型性能，重点关注在训练设计空间之外的外推表现。

实验结果

研究问题

• RQ1 对输出变量应用PCA如何影响基于回归树的模型在飞机载荷预测中的外推性能？
• RQ2 PCA、多项式拟合及其组合对模型准确率与计算效率的相对影响如何？
• RQ3 降维是否能提升回归树在高维航空数据集中对训练数据分布之外区域的泛化能力？
• RQ4 在结合降维技术时，哪种集成模型（如AdaBoost结合随机森林、GBM）在预测准确率与推理速度之间实现最佳平衡？
• RQ5 当应用降维后，特征重要性如何变化？这反映了载荷预测中主导驱动因素的何种信息？

主要发现

• 仅对输出变量（安全系数）应用PCA能显著提升外推性能，优于仅对输入变量或同时对输入与输出应用PCA的方法。
• AdaBoost结合随机森林（ADB-RF）在平均准确率最高且计算效率最佳，尤其在对输出变量应用PCA时表现突出。
• 当对输出变量应用PCA后，随机森林与AdaBoost模型的估计器数量显著增加，表明在变换后的空间中需要更高的模型复杂度。
• 特征重要性分析确认，飞机总质量与Z向载荷因子是最具影响力的预测变量，而操纵面偏转角与燃油箱质量的影响可忽略不计。
• 采用输出变量PCA的模型在不同聚类中表现出更稳定的特征重要性分布，表明在高维预测任务中具有更强的鲁棒性。
• AdaBoost中学习率超过1.0可补偿估计器数量的增加，表明在复杂、降维后的空间中，模型深度与学习率之间存在权衡关系。