[论文解读] Improved Neural Modeling of Real-World Systems Using Genetic Algorithm Based Variable Selection

Donald Sofge, David L. Elliott|ArXiv.org|Jun 7, 2007

Fault Detection and Control Systems参考文献 10被引用 6

一句话总结

本文提出了一种基于遗传算法（GA）的变量选择方法，以提升在传感器数据不完整或存在噪声的现实世界系统中神经网络建模的性能。通过优化输入变量子集，该方法增强了模型的准确性和鲁棒性，在液态进料陶瓷熔融炉上的实验表明，其性能显著优于标准神经网络。

ABSTRACT

Neural network models of real-world systems, such as industrial processes, made from sensor data must often rely on incomplete data. System states may not all be known, sensor data may be biased or noisy, and it is not often known which sensor data may be useful for predictive modelling. Genetic algorithms may be used to help to address this problem by determining the near optimal subset of sensor variables most appropriate to produce good models. This paper describes the use of genetic search to optimize variable selection to determine inputs into the neural network model. We discuss genetic algorithm implementation issues including data representation types and genetic operators such as crossover and mutation. We present the use of this technique for neural network modelling of a typical industrial application, a liquid fed ceramic melter, and detail the results of the genetic search to optimize the neural network model for this application.

研究动机与目标

• 解决在传感器数据不完整、存在噪声或偏差时，为神经网络模型选择最优输入变量的挑战。
• 克服在复杂工业系统中识别哪些传感器变量对预测建模有实质性贡献的困难。
• 通过使用进化计算识别最相关的输入变量，提升神经网络模型的准确性和鲁棒性。
• 展示遗传算法在优化真实世界工业应用中输入选择方面的有效性。
• 提供一种系统化的变量选择框架，以减少过拟合并提升神经网络模型的泛化能力。

提出的方法

• 将候选变量子集表示为二进制字符串，其中每个位表示该传感器变量是否被包含（1）或排除（0）。
• 对这些二进制字符串应用遗传算子——交叉和变异——以探索可能的变量组合搜索空间。
• 基于神经网络预测性能（例如，均方误差）定义适应度函数，以评估每个变量子集。
• 通过选择、交叉和变异迭代演化变量子集群体，逐步收敛到高性能配置。
• 使用选定的变量子集训练并验证神经网络，以评估预测准确性。
• 将GA优化的变量选择过程整合到完整的工业系统建模流程中。

实验结果

研究问题

• RQ1 基于遗传算法的变量选择能否提升在传感器数据不完整的真实世界工业系统中神经网络模型的预测准确性？
• RQ2 哪一组传感器变量能为液态进料陶瓷熔融炉提供最准确的神经网络预测？
• RQ3 基于遗传算法的变量选择与使用所有可用输入变量的标准神经网络建模相比，表现如何？
• RQ4 在存在噪声或偏差传感器数据的情况下，变量选择对模型鲁棒性和泛化能力有何影响？
• RQ5 对于此应用，遗传算法参数（例如，种群大小、变异率）的最优配置是什么？

主要发现

• 遗传算法成功识别出一个精简的传感器变量子集，其神经网络预测准确性显著优于使用所有可用输入的模型。
• 优化后的模型在验证数据上实现了更低的均方误差，证明了其预测性能的提升。
• 该方法有效过滤了无关或噪声变量，减少了过拟合并提升了模型的泛化能力。
• 所选变量子集在多次运行中表现出更高的稳定性，表明优化过程具有鲁棒性。
• 该方法在处理不完整和噪声传感器数据方面表现有效，适用于真实世界工业应用。
• 结果证实，通过遗传算法进行变量选择是提升复杂系统中神经网络建模性能的一种可行且有效策略。