[论文解读] Missing Data Prediction and Classification: The Use of Auto-Associative Neural Networks and Optimization Algorithms

Collins Achepsah Leke, Bhekisipho Twala+1 more|arXiv (Cornell University)|Mar 21, 2014

Anomaly Detection Techniques and Applications参考文献 30被引用 8

一句话总结

本文提出了一种新颖的方法，利用自编码神经网络（AANN）并结合五种优化算法——遗传算法（GA）、模拟退火（SA）、粒子群优化（PSO）、随机森林（RF）和负选择（NS）——来填补缺失数据并提高分类准确性。该方法通过最小化基于已知数据的误差函数，训练AANN学习数据模式并重建缺失值。在基准数据集上，经随机森林优化的AANN在预测和分类准确性方面表现最佳。

ABSTRACT

This paper presents methods which are aimed at finding approximations to missing data in a dataset by using optimization algorithms to optimize the network parameters after which prediction and classification tasks can be performed. The optimization methods that are considered are genetic algorithm (GA), simulated annealing (SA), particle swarm optimization (PSO), random forest (RF) and negative selection (NS) and these methods are individually used in combination with auto-associative neural networks (AANN) for missing data estimation and the results obtained are compared. The methods suggested use the optimization algorithms to minimize an error function derived from training the auto-associative neural network during which the interrelationships between the inputs and the outputs are obtained and stored in the weights connecting the different layers of the network. The error function is expressed as the square of the difference between the actual observations and predicted values from an auto-associative neural network. In the event of missing data, all the values of the actual observations are not known hence, the error function is decomposed to depend on the known and unknown variable values. Multi-layer perceptron (MLP) neural network is employed to train the neural networks using the scaled conjugate gradient (SCG) method. Prediction accuracy is determined by mean squared error (MSE), root mean squared error (RMSE), mean absolute error (MAE), and correlation coefficient (r) computations. Accuracy in classification is obtained by plotting ROC curves and calculating the areas under these. Analysis of results depicts that the approach using RF with AANN produces the most accurate predictions and classifications while on the other end of the scale is the approach which entails using NS with AANN.

研究动机与目标

• 解决机器学习数据集中缺失数据带来的挑战，因为这会降低模型性能。
• 开发一种基于自编码神经网络（AANN）与优化算法结合的稳健框架，用于估计缺失值。
• 比较五种优化技术——GA、SA、PSO、RF和NS——在提升基于AANN的缺失数据填补效果方面的有效性。
• 使用标准指标评估优化AANN对下游预测和分类任务的影响。
• 识别在缺失数据估计和分类任务中最有效的优化-AANN组合。

提出的方法

• 使用具有缩放共轭梯度（SCG）方法的多层感知机（MLP）训练自编码神经网络（AANN），以从完整的输入-输出对中学习数据模式。
• 误差函数定义为实际值与预测值之间平方差的总和，通过将已知和未知部分分离，以处理缺失数据。
• 使用五种优化算法——GA、SA、PSO、RF和NS——通过调整AANN权重来最小化误差函数，每种算法均独立测试。
• 通过均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和相关系数（r）评估预测准确性。
• 通过ROC曲线分析和曲线下面积（AUC）评估分类性能。
• 该框架可同时实现缺失值填补和使用同一优化AANN模型进行后续分类。

实验结果

研究问题

• RQ1 当与自编码神经网络结合时，哪种优化算法在填补缺失数据方面最准确？
• RQ2 将优化算法与AANN结合后，在存在缺失数据的情况下，对预测准确性有何影响？
• RQ3 GA、SA、PSO、RF和NS在优化AANN以实现缺失数据估计方面的相对表现如何？
• RQ4 填补数据的质量如何影响下游分类性能？
• RQ5 使用随机森林作为优化器是否显著优于其他元启发式方法，从而提升AANN性能？

主要发现

• 经随机森林优化的AANN方法在所有测试数据集上实现了最高的预测准确性，MSE、RMSE和MAE值最低。
• 负选择（NS）算法产生的预测最不准确，所有优化方法中误差值最高。
• RF-AANN模型的相关系数（r）始终高于其他方法，表明预测值与实际值之间存在更强的线性关系。
• 分类性能方面，RF-AANN表现最佳，曲线下面积（AUC）最高，显示出更强的判别能力。
• PSO和GA变体表现中等，优于NS但劣于RF，在填补和分类任务中均表现欠佳。
• 与非优化基线相比，使用优化算法显著提升了AANN性能，其中RF提供了最稳健的改进。