[論文レビュー] Missing Value Imputation for Mixed Data via Gaussian Copula

Yuxuan Zhao, Madeleine Udell|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference参考文献 29被引用数 6

ひとこと要約

本稿では、連続変数、順序変数、二値変数を含む混合データに対して、周辺分布および順序構造を保持するガウスコプスタイプのノータイミング半パラメトリック補完アルゴリズムを提案する。この手法は、不完全なデータからコプスタイプのパラメータを推定するための効率的な近似EMアルゴリズムを用い、多様な実データおよび合成データセットにおいて、最先端の手法を上回る補完精度を達成する。

ABSTRACT

Missing data imputation forms the first critical step of many data analysis pipelines. The challenge is greatest for mixed data sets, including real, Boolean, and ordinal data, where standard techniques for imputation fail basic sanity checks: for example, the imputed values may not follow the same distributions as the data. This paper proposes a new semiparametric algorithm to impute missing values, with no tuning parameters. The algorithm models mixed data as a Gaussian copula. This model can fit arbitrary marginals for continuous variables and can handle ordinal variables with many levels, including Boolean variables as a special case. We develop an efficient approximate EM algorithm to estimate copula parameters from incomplete mixed data. The resulting model reveals the statistical associations among variables. Experimental results on several synthetic and real datasets show superiority of our proposed algorithm to state-of-the-art imputation algorithms for mixed data.

研究の動機と目的

• 連続変数、順序変数、二値変数を含む混合データセットにおける欠損値補完の課題に取り組むこと。標準的手法は分布の不一致のため失敗する。
• データの順序的性質を尊重する手法を開発し、順序変数をカテゴリカルまたは連続的扱いする際に生じる順序情報の損失を回避すること。
• ハイパーパramータのチューニングやデータ分布に関する事前知識を必要としない、完全に自動化された、パラメータフリーの補完アルゴリズムを構築すること。
• 適合されたコプスタイプモデルを通じて、変数間の統計的関連性を解釈可能にモデル化すること。
• 不完全なデータに対するガウスコプスタイプ推定のためのベイジアンMCMC手法の代替として、高速で頻度主義的な代替手法を提供すること。

提案手法

• 混合データをガウスコプスタイプでモデル化し、各観測変数が潜在的な多変量正規変数の単調変換であると仮定する。
• 順序変数を潜在的な連続変数上の閾値として表現し、順序を保持しつつ柔軟な周辺分布を許容する。
• 完全なMCMCサンプリングを回避するため、不完全なデータからコプスタイプの相関および閾値パラメータを推定する近似EMアルゴリズムを開発する。
• 座標ごとの単調変換を用いて、データスケーリングや変換に対して不変性を確保し、耐性を高める。
• 適合されたコプスタイプモデルにおける条件付き分布から欠損値を補完し、依存構造を完全に活用する。
• 計算効率を向上させるためにEMアルゴリズムで低ランク近似を採用し、精度を損なわずに行う。

実験結果

リサーチクエスチョン

• RQ1 コプスタイプモデルは、連続、順序、二値の混合データタイプに欠損値を伴っても、周辺分布を保持しながら効果的に処理できるか？
• RQ2 不完全な混合データに対する本稿で提案する近似EMアルゴリズムは、既存の最先端補完手法を精度および速度の面で上回るか？
• RQ3 低ランク行列補完法やランダムフォレストベースの補完法と比較して、本手法は順序構造をどれほどよく保持し、高い欠損率に対しても対応できるか？
• RQ4 適合されたコプスタイプモデルは、実世界のデータセットにおいて変数間の解釈可能な統計的関連性を明らかにできるか？
• RQ5 本手法は、実用上の耐性を求める上で必須の単調変換に対して不変であるか？

主な発見

• 提案されたコプスタイプ-EM手法は、映画評価、社会調査、健康データを含むすべてのテストデータセットで最小のSMAE（対称平均絶対誤差）を達成し、しばしば顕著な差を示した。
• 30%の欠損率を示すMovieLensデータセットでは、コプスタイプ-EMはSMAE 0.799を達成し、missForest（0.800）、imputeFAMD（0.823）、xPCA（0.911）を上回った。
• ドイツ乳癌研究グループ（GBSG）データセットでは、順序変数に対してSMAE 0.793、連続変数に対してSMAE 0.876を達成し、すべてのベースラインを上回った。
• レクチャーエバリュエーション（LEV）データセットでは、ラベルに対してSMAE 0.750、特徴量に対してSMAE 0.907を達成し、missForest（0.970および0.799）を顕著に上回った。
• 100回のランダムなテスト実行において、標準誤差が低く、一貫性のある性能を示し、耐性と安定性を示した。
• ベイジアンMCMC手法よりも顕著に高速であり、同じ時間予算内でもより高い推定精度を達成したため、効率性の優位性が立証された。