[論文レビュー] bigMICE: Multiple Imputation of Big Data

Hugo Morvan, Jonas Agholme+5 more|arXiv (Cornell University)|Jan 29, 2026

Statistical Methods and Bayesian Inference被引用数 0

ひとこと要約

論文は大規模データセットの欠損データを推定するための MICE の Spark ベース拡張である bigMICE を提案し、通常のハードウェア上での memory 効率とスケーラビリティに焦点を当てる。

ABSTRACT

Missing data is a prevalent issue in many applications, including large medical registries such as the Swedish Healthcare Quality Registries, potentially leading to biased or inefficient analyses if not handled properly. Multiple Imputation by Chained Equations (MICE) is a popular and versatile method for handling multivariate missing data but traditional implementations face significant challenges when applied to big data sets due to computational time and memory limitations. To address this, the bigMICE package was developed, adapting the MICE framework to big data using Apache Spark MLLib and Spark ML. Our implementation allows for controlling the maximum memory usage during the execution, enabling processing of very large data sets on a hardware with a limited memory, such as ordinary laptops. The developed package was tested on a large Swedish medical registry to measure memory usage, runtime and dependence of the imputation quality on sample size and on missingness proportion in the data. In conclusion, our method is generally more memory efficient and faster on large data sets compared to a commonly used MICE implementation. We also demonstrate that working with very large datasets can result in high quality imputations even when a variable has a large proportion of missing data. This paper also provides guidelines and recommendations on how to install and use our open source package.

研究の動機と目的

• 従来の MICE の大規模データ文脈における制限を示す。
• Spark の分散フレームワーク内で動作するメモリ効率の良い MICE 実装を開発する。
• MICE を Spark MLLib と統合し、容易な導入のための R インターフェースを提供する。
• データサイズと欠測の割合の異なる状況で、メモリ使用量、実行時間、推定品質を評価する。
• big data imputation のインストール、使用、再現可能なワークフローのガイドラインを提供する。

提案手法

• MICE フレームワークを Apache Spark に適応し、スケーラブルな回帰・分類モデルのために Spark DataFrame と MLLib を使用する。
• 欠測データ全体を保存するのではなくモデルパラメータのみを格納することでメモリ効率の高い Rubin pooling を実装する。
• 大規模実行時の計算安定性を高めるために Spark チェックポイントを組み込む。
• Spark 操作を介して実装された二つの初期化方法（要約統計と乱数サンプリング）を提供する。
• 限られた RAM のマシンで動作するように Spark 設定を通じたリソース管理を可能にする。
• sparklyr を介した R インターフェースを提供し、R エコシステムとのシームレスな統合を図る。

実験結果

リサーチクエスチョン

• RQ1 MICE を Spark 環境内の大規模データで効率的に動作させるにはどう適応すべきか。
• RQ2 RAM 制限を超えずに複数代入を可能にする効果的なメモリ管理戦略は何か。
• RQ3 データサイズと欠測割合が bigMICE の推定品質に与える影響は何か。
• RQ4 従来の MICE 実装と比較して bigMICE のメモリ使用量と速度はどうか。
• RQ5 異なるハードウェア設定で bigMICE の再現性と利用のしやすさを保証するガイドラインは何か。

主な発見

• bigMICE は一般的に大規模データセット上で、よく用いられる MICE 実装よりもメモリ効率と速度が向上する。
• 非常に大規模なデータセットを扱うと、欠測データの割合が大きい変数でも高品質な代入を得られる場合がある。
• RAM とディスク間の情報交換により、従来のメモリ制限を超えるデータセットの処理を可能にする。
• Spark のチェックポイントは、大規模な代入時のメモリのボトルネックと実行失敗を防ぐ。
• sparklyr との統合により、R から Spark クラスターまたはローカルマシンでの利用が可能になる。
• ドキュメントと再現可能な例を備えたオープンソース化は採用を促進する。