[論文レビュー] A Different Approach to the Problem of Missing Data

Gu Xiao, Norman Matloff|arXiv (Cornell University)|Sep 16, 2015

Statistical Methods and Bayesian Inference参考文献 5被引用数 3

ひとこと要約

本稿は、欠損データの処理における完全ケース（CC）および複数挿入法（MI）の代替手段として、利用可能なケース（AC）を再評価する。線形回帰、主成分分析（PCA）、対数線形モデルにおいて、ACはMCAR条件下でCCを上回る統計的精度を示し、MAR条件下でも関連モデルに対して有効であり、MIに比べてはるかに高速である。

ABSTRACT

There is a long history of devleopment of methodology dealing with missing data in statistical analysis. Today, the most popular methods fall into two classes, Complete Cases (CC) and Multiple Imputation (MI). Another approach, Available Cases (AC), has occasionally been mentioned in the research literature, in the context of linear regression analysis, but has generally been ignored. In this paper, we revisit the AC method, showing that it can perform better than CC and MI, and we extend its breadth of application.

研究の動機と目的

• 欠損データ処理における利用可能なケース（AC）を、完全ケース（CC）および複数挿入法（MI）と比較して、実用的かつ統計的に妥当な手法として再評価すること。
• 欠損が完全にランダム（MCAR）である条件下で、ACがCCを上回る統計的精度を達成できることを示すこと。
• 一般的な誤解とは異なり、欠損がランダム（MAR）である条件下でも、ACが回帰および関連モデルの推論に対して有効であることを示すこと。
• MIの普及とその頑健性の認識とは対照的に、ACが計算的に効率的で、MIと同等またはそれ以上の統計的性能を示す実証的証拠を提供すること。
• 線形回帰にとどまらず、主成分分析（PCA）および対数線形モデル（連関表分析）へのACの適用範囲を拡張すること。

提案手法

• 両変数が観測されている行でのみ、ペアワイズ統計量（例：共分散）を計算することで、完全な行を削除せずに利用可能なケース（AC）を用いる。
• 回帰分析にACを適用し、予測変数と応答変数の両方が観測されているペアのみを用いて回帰係数を推定し、各ペアの有効サンプルサイズに合わせて調整する。
• 主成分分析（PCA）への拡張では、ペアワイズの利用可能なケースから標本共分散行列を計算し、特定の条件下で正定値を保つことを保証する。
• 連関表の対数線形モデルにACを適用し、同時確率および周辺確率の利用可能なケース推定値を用いる。
• 実データおよびシミュレートデータを用いた比較により、AC、CC、MIの性能を推定精度および計算速度の観点から、修正された経験的手法で比較する。
• 比較の代表例としてアミリア（Amelia）をMI手法として用いるが、MIがMCARおよびMAR条件下でACより優れた性能を示さず、むしろ遅いと判明している。

実験結果

リサーチクエスチョン

• RQ1 欠損が完全にランダム（MCAR）である場合、利用可能なケース（AC）は完全ケース（CC）を統計的精度の観点で上回ることができるか？
• RQ2 一般的な誤解とは異なり、欠損がランダム（MAR）である場合でも、ACは回帰および関連モデルの推論に対して有効であるか？
• RQ3 特に大規模データセットにおいて、ACの計算的効率は複数挿入法（MI）と比べてどの程度か？
• RQ4 ACは主成分分析（PCA）および連関表の対数線形モデルに信頼性を持って拡張可能か？
• RQ5 ACが有効である状況において、MIはACに比べて意味的な統計的優位性を示すのか、特にバイアスおよび平均二乗誤差の観点から？

主な発見

• MCAR条件下での実データ研究において、ACは回帰係数の推定精度およびモデル適合度においてCCを顕著に上回った。
• MAR条件下でも、応答変数の予測変数による条件付き分布が不偏のまま維持されるため、ACは回帰および関連モデルに対して有効な推論を維持した。
• MIに比べてACは計算的にはるかに高速であった。例として、n=10,000、p=25のPCAシミュレーションでは、MIが92.9秒、ACが1.97秒であった。
• 著者らのシミュレーションでも、MIはMAR条件下での理論的優位性を示したが、ACの統計的性能を上回ることはなかった。
• ACで用いられる共分散行列（積和行列）は実際の応用でも正定値を保つことが確認され、その有効性に関する一般的な懸念を覆した。
• ACは、速度と簡便さが重要な状況において、回帰および関連モデルの分野でMIの強力な実用的代替手段として浮上した。