[论文解读] A computational study on imputation methods for missing environmental data

Paul Dixneuf, Fausto Errico+1 more|arXiv (Cornell University)|Aug 21, 2021

Soil and Water Nutrient Dynamics参考文献 18被引用 5

一句话总结

本计算研究评估了三种缺失值填补方法——missForest、MICE 和 KNN——在混合类型数据集中的环境数据缺失处理表现。missForest 在准确性方面优于其他两种方法，在混合类型数据上将填补误差降低了高达 150%，而 KNN 则速度最快。该方法成功应用于魁北克地区实际的污水处理厂数据，证明其在环境监测中的实际应用价值。

ABSTRACT

Data acquisition and recording in the form of databases are routine operations. The process of collecting data, however, may experience irregularities, resulting in databases with missing data. Missing entries might alter analysis efficiency and, consequently, the associated decision-making process. This paper focuses on databases collecting information related to the natural environment. Given the broad spectrum of recorded activities, these databases typically are of mixed nature. It is therefore relevant to evaluate the performance of missing data processing methods considering this characteristic. In this paper we investigate the performances of several missing data imputation methods and their application to the problem of missing data in environment. A computational study was performed to compare the method missForest (MF) with two other imputation methods, namely Multivariate Imputation by Chained Equations (MICE) and K-Nearest Neighbors (KNN). Tests were made on 10 pretreated datasets of various types. Results revealed that MF generally outperformed MICE and KNN in terms of imputation errors, with a more pronounced performance gap for mixed typed databases where MF reduced the imputation error up to 150%, when compared to the other methods. KNN was usually the fastest method. MF was then successfully applied to a case study on Quebec wastewater treatment plants performance monitoring. We believe that the present study demonstrates the pertinence of using MF as imputation method when dealing with missing environmental data.

研究动机与目标

• 评估在混合数据类型环境数据库中缺失数据填补方法的性能。
• 比较 missForest、MICE 和 KNN 在处理多样化环境数据集中的缺失值时的准确性与计算效率。
• 评估填补方法在真实世界环境监测中的实际适用性，特别是在复杂且异质的数据环境中。
• 识别在变量类型混合（连续型、分类型和有序型）的环境数据中最具鲁棒性的填补方法。

提出的方法

• 本研究采用计算基准方法，使用 10 个经过预处理的混合类型环境数据集，包含连续型、分类型和有序型变量。
• 评估了三种填补方法：missForest（基于随机森林的方法）、MICE（基于链式方程的多元填补）和 KNN（k-最近邻填补）。
• 通过均方误差（MSE）和平均绝对误差（MAE）衡量填补准确性，以量化预测误差。
• 在多个数据集上评估每种方法的性能，以确保结果的普适性，并汇总结果以比较整体准确性和速度。
• 通过案例研究将 missForest 应用于魁北克地区实际的污水处理厂数据，以验证其实际应用价值。

实验结果

研究问题

• RQ1 在混合类型环境数据集中，missForest、MICE 和 KNN 在填补准确性方面如何比较？
• RQ2 在环境数据背景下，每种填补方法的相对计算效率如何？
• RQ3 不同填补方法之间的性能差距是否在数据类型构成上存在显著差异，特别是在混合类型数据库中？
• RQ4 missForest 是否能够有效处理具有复杂且异质变量类型的现实世界环境数据集？

主要发现

• missForest 在填补准确性方面始终优于 MICE 和 KNN，尤其在混合类型环境数据集中表现突出。
• 在混合类型数据库中，与其它方法相比，missForest 将填补误差降低了高达 150%，表明其具有显著的性能优势。
• K-最近邻（KNN）是三种方法中速度最快的，表现出卓越的计算效率。
• missForest 与其他方法之间的性能差距在包含混合变量类型的数据集中最为明显，凸显了其在异质环境数据中的适用性。
• missForest 在魁北克污水处理厂真实案例研究中的成功应用，证实了其在环境监测系统中的实际可行性。