[論文レビュー] A computational study on imputation methods for missing environmental data

Paul Dixneuf, Fausto Errico+1 more|arXiv (Cornell University)|Aug 21, 2021

Soil and Water Nutrient Dynamics参考文献 18被引用数 5

ひとこと要約

この計算研究では、混合型データセットにおける欠損環境データの補完手法—missForest、MICE、KNN—の評価が行われた。missForestは、混合型データにおいて両方の手法を上回る正確性を示し、補完誤差を最大で150%まで低減した。一方、KNNは最も高速であった。本手法はケベック州の実際の下水処理データに成功裏に適用され、環境モニタリングにおける実用的有用性が示された。

ABSTRACT

Data acquisition and recording in the form of databases are routine operations. The process of collecting data, however, may experience irregularities, resulting in databases with missing data. Missing entries might alter analysis efficiency and, consequently, the associated decision-making process. This paper focuses on databases collecting information related to the natural environment. Given the broad spectrum of recorded activities, these databases typically are of mixed nature. It is therefore relevant to evaluate the performance of missing data processing methods considering this characteristic. In this paper we investigate the performances of several missing data imputation methods and their application to the problem of missing data in environment. A computational study was performed to compare the method missForest (MF) with two other imputation methods, namely Multivariate Imputation by Chained Equations (MICE) and K-Nearest Neighbors (KNN). Tests were made on 10 pretreated datasets of various types. Results revealed that MF generally outperformed MICE and KNN in terms of imputation errors, with a more pronounced performance gap for mixed typed databases where MF reduced the imputation error up to 150%, when compared to the other methods. KNN was usually the fastest method. MF was then successfully applied to a case study on Quebec wastewater treatment plants performance monitoring. We believe that the present study demonstrates the pertinence of using MF as imputation method when dealing with missing environmental data.

研究の動機と目的

• 混合データ型を含む環境データベースにおける欠損データ補完手法の性能を評価すること。
• 環境データセットの多様な分野において、missForest、MICE、KNNの補完の正確性と計算効率を比較すること。
• 特に複雑で多様性のあるデータ環境において、補完手法の実用的適用可能性を評価すること。
• 連続変数、カテゴリカル変数、順序変数を含む混合変数型で特徴づけられる環境データに対して、最も頑健な補完手法を特定すること。

提案手法

• 本研究では、連続変数、カテゴリカル変数、順序変数を含む混合データ型を有する10の事前処理済み環境データセットを用いた計算ベンチマークを実施した。
• 3つの補完手法を評価した：missForest（ランダムフォレストに基づく手法）、MICE（連鎖的方程式による多変量補完）、KNN（k近傍法による補完）。
• 補完の正確性は、平均二乗誤差（MSE）および平均絶対誤差（MAE）を用いて予測誤差を定量化することで測定した。
• 一般化性を確保するため、複数のデータセットにわたり各手法の性能を評価し、全体の正確性と速度を比較するために結果を集約した。
• ケーススタディとして、ケベック州の実際の下水処理プラントデータにmissForestを適用し、その実用的有用性を検証した。

実験結果

リサーチクエスチョン

• RQ1 missForest、MICE、KNNは、混合型環境データセットにおいて、補完の正確性でどのように比較されるか？
• RQ2 環境データの文脈において、各補完手法の相対的な計算効率はどのようになるか？
• RQ3 補完手法間の性能差は、特に混合型データベースにおいて、データ型の構成に著しく依存するか？
• RQ4 missForestは、複雑で多様性のある変数型を有する実世界の環境データセットを効果的に処理できるか？

主な発見

• missForestは、混合型環境データセットにおいて、MICEおよびKNNを常に上回る補完の正確性を示した。
• 混合型データベースでは、他の手法と比較して、missForestが補完誤差を最大で150%まで低減した。これは顕著な性能優位性を示している。
• K-Nearest Neighbors（KNN）は、3つの手法の中で最も高速であり、優れた計算効率を示した。
• missForestと他の手法との性能差は、混合変数型を有するデータセットで最も顕著であり、これはmissForestが多様性のある環境データに適していることを強調している。
• ケベック州の下水処理プラントに関する実世界のケーススタディへのmissForestの成功した適用は、環境モニタリングシステムにおけるその実用的妥当性を裏付けている。