[論文レビュー] A principal components method to impute missing values for mixed data

Vincent Audigier, François Husson+1 more|arXiv (Cornell University)|Jan 21, 2013

Statistical Methods and Bayesian Inference参考文献 15被引用数 14

ひとこと要約

本論文は、主成分分析を用いて個人と変数の間の関係をモデル化する因子分析混合データ（FAMD）を用いた、連続変数とカテゴリカル変数を併せ持つ混合型データのための新しい単一補完手法を提案する。この手法は、カテゴリカル変数と線形関係のある連続変数の補完において、ランダムフォレストを上回り、特にレアカテゴリーや高次元データセットにおいて優れた性能を示す。

ABSTRACT

We propose a new method to impute missing values in mixed datasets. It is based on a principal components method, the factorial analysis for mixed data, which balances the influence of all the variables that are continuous and categorical in the construction of the dimensions of variability. Because the imputation uses the principal axes and components, the prediction of the missing values are based on the similarity between individuals and on the relationships between variables. The quality of the imputation is assessed through a simulation study and real datasets. The method is compared to a recent method (Stekhoven and Bühlmann, 2011) based on random forests and shows better performances especially for the imputation of categorical variables and when there are highly linear relationships between continuous variables.

研究の動機と目的

• 連続変数とカテゴリカル変数が共存する混合型データセットにおける欠損値補完の課題に対処すること。
• 個人間の類似性と変数タイプ間の関係を同時にモデル化する手法を開発すること。
• 既存手法と比較して、特にカテゴリカル変数およびレアカテゴリーや高い補完精度を向上させること。
• 連鎖的推定やランダムフォレストのような複数モデルアプローチの代替として、計算的に効率的な手法を提供すること。
• 不確実性の定量化のための複数補完への拡張が可能な単一補完を可能にすること。

提案手法

• 本手法は、連続変数とカテゴリカル変数の両方を対象とした、混合データの因子分析（FAMD）を用いる。これは、混合変数に特化した主成分分析手法である。
• 不完全なデータから得られる主成分を用いて、反復的にデータ行列を再構築し、現在の低ランク近似に基づいて欠損値を更新する。
• 各反復で、現在の補完済みデータ行列から主成分を計算し、指定された次元数を用いてデータを再構築する。
• 次元数は調整パラメータであり、交差検証または一般化交差検証を用いて選択可能である。
• カテゴリカル変数は最適スケーリングを用いて処理され、連続変数と同じ低次元空間に統合される。
• 補完値は再構築されたデータ行列から導出され、個人と変数の間の構造的関係が保持される。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック分布の仮定をせず、主成分に基づく手法が混合型データセットにおける欠損値補完に効果的であるか。
• RQ2 FAMDに基づく補完手法は、混合データに対して最先端の手法（例：ランダムフォレスト）と比較してどの程度優れているか。
• RQ3 本手法は、特にレアカテゴリーや連続変数間に強い線形関係があるデータセットにおいても、カテゴリカル変数の補完精度を高く維持できるか。
• RQ4 反復的FAMDアルゴリズムは、高い補完品質を維持しつつ、計算的にも効率的であるか。
• RQ5 本手法は、補完の過程で個人の類似性と変数間の依存関係の両方をどの程度適切に捉えているか。

主な発見

• 反復的FAMD手法は、シミュレートされたデータおよび実データセットにおいて、カテゴリカル変数の補完においてランダムフォレストを顕著に上回り、特にレアカテゴリーや高い欠損率下でも優れた性能を示す。
• 連続変数に強い線形関係がある場合、FAMD手法はランダムフォレストよりも低い補完誤差を達成しており、特に欠損率が高い状況で顕著である。
• パーキンソン病データセット（連続変数）では、ランダムフォレストの誤差率がFAMDより10%低く、FAMDが純粋に連続変数の設定では限界を示すことが確認された。
• クレジットデータセット（カテゴリカル変数）では、10%、20%、30%のあらゆる欠損率において、FAMDの補完誤差がランダムフォレストを下回った。
• 本手法は計算的にも効率的であり、データセットサイズの増大に対してもスケーリングが良く、連鎖的推定やK近傍法よりも精度と速度の両面で優れた性能を示した。
• FAMDに基づく補完手法はRパッケージmissMDAに実装されており、単一補完および潜在的複数補完ワークフローをサポートする関数imputeFAMDが提供されている。