[论文解读] Fuzzy Artmap and Neural Network Approach to Online Processing of Inputs with Missing Values

Fulufhelo V. Nelwamondo, Tshilidzi Marwala|arXiv (Cornell University)|May 8, 2007

Fuzzy Logic and Control Systems参考文献 13被引用 3

一句话总结

本文提出了一种基于集成的在线方法，用于在神经网络中处理缺失输入值，无需插补或预测。采用模糊ARTMAP进行分类，多层感知机（MLP）进行回归，该方法在回归任务中的性能相比使用遗传算法的自联想网络最高提升9%，同时消除了数据估计的需求并降低了计算开销。

ABSTRACT

An ensemble based approach for dealing with missing data, without predicting or imputing the missing values is proposed. This technique is suitable for online operations of neural networks and as a result, is used for online condition monitoring. The proposed technique is tested in both classification and regression problems. An ensemble of Fuzzy-ARTMAPs is used for classification whereas an ensemble of multi-layer perceptrons is used for the regression problem. Results obtained using this ensemble-based technique are compared to those obtained using a combination of auto-associative neural networks and genetic algorithms and findings show that this method can perform up to 9% better in regression problems. Another advantage of the proposed technique is that it eliminates the need for finding the best estimate of the data, and hence, saves time.

研究动机与目标

• 开发一种用于神经网络中实时在线处理缺失值输入的方法。
• 消除对缺失数据进行插补或预测的需求，降低计算成本并减少估计误差。
• 在存在缺失数据的条件下，提升分类与回归任务的性能。
• 实现实时动态、真实世界环境下的高效状态监测。
• 将所提出的集成方法与现有方法（如自联想网络和遗传算法）进行比较。

提出的方法

• 使用模糊ARTMAP网络的集成处理分类任务，支持在线学习和对不完整输入的增量处理。
• 采用多层感知机（MLP）的集成进行回归，直接训练以处理缺失值，无需插补。
• 通过将缺失值视为输入结构的一部分，避免数据插补，从而保留输入的不确定性。
• 通过集成方法聚合多个模型的输出，提升在缺失数据存在下的鲁棒性与泛化能力。
• 系统设计为支持在线运行，适用于实时状态监测应用。
• 通过将集成方法与结合自联想神经网络和遗传算法的混合方法进行对比，评估性能。

实验结果

研究问题

• RQ1 基于集成的神经网络方法是否能有效实现实时在线处理缺失值输入，且无需插补？
• RQ2 所提出方法在回归与分类任务中与基于插补的方法相比性能如何？
• RQ3 消除数据估计需求是否能提升计算效率与模型准确性？
• RQ4 模糊ARTMAP与MLP集成在输入含缺失值时是否能保持高准确性？
• RQ5 与结合自联想网络和遗传算法的方法相比，所提方法的相对性能提升如何？

主要发现

• 与使用遗传算法的自联想神经网络方法相比，所提方法在回归问题中性能最高提升9%。
• 集成方法消除了对缺失数据进行估计或插补的需求，减少了处理时间并避免了估计误差。
• 由于具备增量学习与实时处理能力，该方法在在线状态监测中表现出色。
• 即使输入不完整，模糊ARTMAP集成仍能提供鲁棒的分类性能。
• MLP集成在无需数据插补的情况下仍能保持高回归准确性。
• 该方法在存在缺失输入的分类与回归任务中均表现出强大的泛化能力与稳定性。