[論文レビュー] Pattern Alternating Maximization Algorithm for Missing Data in Large P, Small N Problems

Nicolas Städler, Daniel J. Stekhoven+1 more|arXiv (Cornell University)|May 3, 2010

Gene expression and cancer classification参考文献 29被引用数 3

ひとこと要約

この論文は、新しいパターン交互最大化アプローチを用いて、高次元の「大P、小N」データにおける欠損値の補完に計算的に効率的なアルゴリズムであるMissPALassoを提案する。行列の逆行列計算をソフト・スレッディングに置き換え、Lasso正則化を組み込むことで、スパースな回帰係数を達成し、k-NN、ノルム最小化、MissGLassoといった既存手法よりも、シミュレーションおよび実際のマイクロアレイデータセットで優れた性能を発揮する。

ABSTRACT

We propose a new and computationally efficient algorithm for maximizing the observed log-likelihood for a multivariate normal data matrix with missing values. We show that our procedure based on iteratively regressing the missing on the observed variables, generalizes the standard EM algorithm by alternating between different complete data spaces and performing the E-Step incrementally. In this non-standard setup we prove numerical convergence to a stationary point of the observed log-likelihood. For high-dimensional data, where the number of variables may greatly exceed sample size, we add a Lasso penalty in the regression part of our algorithm and perform coordinate descent approximations. This leads to a computationally very attractive technique with sparse regression coefficients for missing data imputation. Simulations and results on four microarray datasets show that the new method often outperforms other imputation techniques as k-nearest neighbors imputation, nuclear norm minimization or a penalized likelihood approach with an l1-penalty on the inverse covariance matrix.

研究の動機と目的

• 高次元設定における欠損値補完のためのEMベースの手法における計算非効率性とスパarsityの欠如を解決する。
• 異なる完全データ空間を交互に処理することで、EMアルゴリズムを一般化する尤度ベースのアプローチを開発する。
• Lasso正則化によるスパース推定フレームワークを導入し、『大P、小N』状況における解釈可能性と精度を向上させる。
• 観測された対数尤度の定常点へのアルゴリズムの数値的収束を証明する。
• 実際のマイクロアレイデータおよびシミュレートされたデータ上で、k-NN、ノルム最小化、および罰則付き尤度手法よりも優れた性能を示す。

提案手法

• 異なる完全データ空間を交互に処理し、段階的なEステップを実行する非標準的なEM型アルゴリズムであるMissPAを提案する。
• Eステップにおける行列の逆行列計算をソフト・スレッディング作用素に置き換えることで、計算効率を向上させる。
• 回帰ステップにLasso正則化を追加することで、欠損値補完のスパース推定が可能なMissPALassoを導入する。
• 高次元設定における罰則付き回帰問題を効率的に解くために、座標降下近似を用いる。
• 最適化を罰則付き変分自由エネルギーの最大化として定式化し、欠損パターンごとの反復的更新を実施する。
• コンactnessとサンドイッチ不等式を用いた議論により、観測された対数尤度の定常点への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 異なる完全データ空間を交互に処理する修正EMアルゴリズムは、高次元欠損データ問題において、より優れた計算的効率性を達成できるか？
• RQ2 Eステップにおける行列の逆行列計算をソフト・スレッディングに置き換えることで、補完における計算スケーラビリティとスパarsityが向上するか？
• RQ3 回帰ステップにおけるLasso正則化は、『大P、小N』状況において、より正確で解釈可能な補完を可能にするか？
• RQ4 実際のマイクロアレイデータセットにおいて、MissPALassoの性能はk-NN、ノルム最小化、およびMissGLassoと比べてどうか？
• RQ5 提案されたアルゴリズムは数値的に安定しており、観測された対数尤度の定常点への収束が保証されるか？

主な発見

• MissPALassoは、Eステップにおける行列の逆行列計算をソフト・スレッディングに置き換えることで、大規模な共分散行列に対する高コストな演算を回避し、計算的効率を著しく向上させる。
• Lasso正則化により回帰係数がスパース化され、高次元設定における解釈可能性の向上と過学習の低減が達成される。
• 4つのマイクロアレイデータセットにおけるシミュレーションおよび実データ解析から、MissPALassoがk-NN、ノルム最小化、およびMissGLassoを上回る補完精度を示す。
• コンパクトネスとサンドイッチ不等式を用いた厳密な議論により、観測された対数尤度の定常点への数値的収束が証明された。
• 低ランク構造に従わないデータに対しても、MissPALassoは頑健な性能を示し、非低ランク状況では凸行列補完手法を上回る。
• 提案手法は、完全データ空間の交互処理を許容することで、標準EMアルゴリズムを一般化し、欠損値問題におけるより柔軟で効率的な最適化を可能にする。