[论文解读] High-low level support vector regression prediction approach (HL-SVR) for data modeling with input parameters of unequal sample sizes

Maolin Shi, Wei Sun+2 more|arXiv (Cornell University)|May 30, 2019

Industrial Vision Systems and Defect Detection参考文献 44被引用 5

一句话总结

本文提出了一种基于支持向量回归的新型方法——高低水平支持向量回归（HL-SVR），用于建模输入参数样本数量不等的工程系统。该方法对高样本量参数使用低水平SVR模型，对低样本量参数使用高水平SVVR模型，在数值模拟和牙科种植体案例研究中，显著提升了传统SVR的预测精度。

ABSTRACT

Support vector regression (SVR) has been widely used to reduce the high computational cost of computer simulation. SVR assumes the input parameters have equal sample sizes, but unequal sample sizes are often encountered in engineering practices. To solve this issue, a new prediction approach based on SVR, namely as high-low-level SVR approach (HL-SVR) is proposed for data modeling of input parameters of unequal sample sizes in this paper. The proposed approach is consisted of low-level SVR models for the input parameters of larger sample sizes and high-level SVR model for the input parameters of smaller sample sizes. For each training point of the input parameters of smaller sample sizes, one low-level SVR model is built based on its corresponding input parameters of larger sample sizes and their responses of interest. The high-level SVR model is built based on the obtained responses from the low-level SVR models and the input parameters of smaller sample sizes. Several numerical examples are used to validate the performance of HL-SVR. The experimental results indicate that HL-SVR can produce more accurate prediction results than conventional SVR. The proposed approach is applied on the stress analysis of dental implant, which the structural parameters have massive samples but the material of implant can only be selected from several Ti and its alloys. The prediction performance of the proposed approach is much better than the conventional SVR. The proposed approach can be used for the design, optimization and analysis of engineering systems with input parameters of unequal sample sizes.

研究动机与目标

• 为解决传统SVR假设输入参数样本量相等的局限性，这是工程仿真中的常见问题。
• 在某些输入参数样本量差异极大的情况下（如结构参数样本量大，材料参数样本量小），提升数据建模的预测精度。
• 构建一种分层建模框架，利用高样本量数据的丰富性，提升对低样本量输入的预测性能。
• 在合成数值案例和真实工程应用——牙科种植体应力分析中，验证所提出的HL-SVR方法。

提出的方法

• HL-SVR构建多个低水平SVR模型，每个模型基于特定组合的高样本量输入参数及其对应响应进行训练。
• 针对低样本量输入参数的每个训练点，使用对应的高样本量数据和响应值，训练一个独立的低水平SVR模型。
• 将低水平SVR模型预测的响应结果进行聚合，并作为训练数据输入到单一高水平SVR模型中，该模型将低样本量输入映射为预测响应。
• 随后，利用高水平SVR模型对新的输入组合进行响应预测，最终输出通过分层结构获得。
• 在牙科种植体案例研究中，采用拉丁超立方采样（LHS）生成所有材料类型下结构参数的训练样本。
• 性能通过均方根误差（RMSE）进行评估，并通过学生t检验和Wilcoxon符号秩检验验证统计显著性。

实验结果

研究问题

• RQ1 当输入参数样本量显著不等时，HL-SVR是否能优于传统SVR进行响应预测？
• RQ2 与标准SVR相比，HL-SVR的分层结构在处理样本不平衡数据建模时，如何提升预测精度？
• RQ3 HL-SVR在低样本量参数的多种训练与测试数据组合下，其鲁棒性如何？
• RQ4 在涉及复杂、计算成本高昂的仿真任务的真实工程应用中，HL-SVR是否能保持更优性能？

主要发现

• 在数值研究的全部15组实验配置中，HL-SVR的平均RMSE均低于传统SVR。
• HL-SVR的平均RMSE显著低于SVR，学生t检验的p值为0.008479，Wilcoxon符号秩检验的p值为0.004272，表明其具有统计上的优越性。
• 在牙科种植体应力分析中，HL-SVR展现出比传统SVR更高的预测精度，证实了其在真实工程应用中的有效性。
• 尽管HL-SVR表现出更高的精度，但其RMSE的标准差也更大，表明其鲁棒性相比传统SVR略有下降。
• 该方法有效应对了混合样本量输入参数系统建模的挑战，尤其适用于材料参数仅限少数选项的仿真场景。
• HL-SVR为种植体-骨界面的应力预测提供了一种可行且精确的替代方案，可替代完整的有限元建模。