[论文解读] Enhancing Generalizability of Predictive Models with Synergy of Data and Physics

Yingjun Shen, Zhe Song+1 more|arXiv (Cornell University)|May 4, 2021

Neural Networks and Applications参考文献 35被引用 7

一句话总结

本文提出了一种重新设计的机器学习流程，将物理原理与数据驱动建模相结合，以提升工业预测性维护中的泛化能力。通过应用特征工程、强规则过滤以及基于物理的数据显示分割，该方法在使用KNN等简单模型的情况下，实现了在多种风力涡轮机上的高精度，尽管在性能评分上略低于复杂深度学习模型，但在实际部署中表现更优。

ABSTRACT

Wind farm needs prediction models for predictive maintenance. There is a need to predict values of non-observable parameters beyond ranges reflected in available data. A prediction model developed for one machine many not perform well in another similar machine. This is usually due to lack of generalizability of data-driven models. To increase generalizability of predictive models, this research integrates the data mining with first-principle knowledge. Physics-based principles are combined with machine learning algorithms through feature engineering, strong rules and divide-and-conquer. The proposed synergy concept is illustrated with the wind turbine blade icing prediction and achieves significant prediction accuracy across different turbines. The proposed process is widely accepted by wind energy predictive maintenance practitioners because of its simplicity and efficiency. Furthermore, this paper demonstrates the importance of embedding physical principles within the machine learning process, and also highlight an important point that the need for more complex machine learning algorithms in industrial big data mining is often much less than it is in other applications, making it essential to incorporate physics and follow Less is More philosophy.

研究动机与目标

• 解决纯数据驱动模型在工业预测性维护中泛化能力差的问题。
• 在运行条件差异和数据限制的情况下，提升模型在不同风力涡轮机上的性能表现。
• 证明将物理原理整合到机器学习流程中可提升模型的准确性和鲁棒性。
• 倡导工业机器学习中的“少即是多”理念，优先考虑流程优化而非复杂算法。
• 通过真实世界数据和竞争性基准验证所提出方法的有效性。

提出的方法

• 通过在数据分割、特征工程和规则过滤等关键子流程中嵌入物理原理，重新设计了传统的机器学习流程。
• 利用基于物理的规则过滤噪声或不合理的数据样本，减少过拟合。
• 基于运行状态（如低速/高速）进行数据分割，为每种运行状态训练专用模型。
• 从传感器数据和物理定律中提取可解释且具有物理意义的特征，以提升模型的可解释性和性能。
• 在严格验证后选择简单高效的算法（如KNN，k=3），优先考虑稳定性和计算效率。
• 采用五折交叉验证和盲测评估模型在未见风力涡轮机上的泛化能力。

实验结果

研究问题

• RQ1 将物理原理整合到机器学习流程中，是否能显著提升模型在不同工业资产间的泛化能力？
• RQ2 在真实工业环境中，基于物理信息的机器学习流程与传统数据驱动方法相比表现如何？
• RQ3 当学习流程通过领域知识优化时，简单机器学习算法是否能超越复杂深度学习模型？
• RQ4 特征工程和规则过滤等子流程在多大程度上提升了模型的准确性和鲁棒性？
• RQ5 在工业大数据应用中，模型复杂性与性能之间的权衡如何？

主要发现

• 在WT15上训练、WT21上测试时，该方法在高速条件下的测试得分为84.21%，在低速条件下的测试得分为96.70%，表现出强大的泛化能力。
• 在真实世界竞赛中排名第二，最终测试得分为82.01%，略低于冠军的82.54（使用CNN-LSTM），但在简洁性和效率方面表现更优。
• 总运行时间仅为555.6秒，其中特征工程耗时384.72秒，远快于第一名团队超过6小时的预处理和训练时间。
• KNN模型（k=3）表现出最高稳定性和泛化能力，证实了在流程优化的前提下，算法的简洁性可与高性能共存。
• 通过数据分割和强规则过滤等子流程整合物理原理，显著提升了模型准确率并减少了过拟合。
• 该方法因其简洁性、高效性和可解释性，受到领域专家和评委的高度评价，尽管数值得分略低，但仍获得最高演示评分。