[論文レビュー] High-dimensional principal component analysis with heterogeneous missingness

Ziwei Zhu, Tengyao Wang+1 more|arXiv (Cornell University)|Jun 28, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用数 22

ひとこと要約

本稿では、特徴量ごとに欠損確率が異なる非一様欠損の下で高次元主成分分析を実行するための新しい反復的手法 primePCA を提案する。初期推定値として逆確率加重推定を用い、反復的に欠損値を補完し、その上で補完後の行列の特異値分解（SVD）により推定値を更新する。本手法は、信号強度が十分でかつ新しい非一様性条件を満たす場合、ノイズのない状況下で真の主成分へ幾何的収束を達成する。理論的保証は、最悪ケースではなく平均的な欠損特性に依存する。

ABSTRACT

We study the problem of high-dimensional Principal Component Analysis (PCA) with missing observations. In a simple, homogeneous observation model, we show that an existing observed-proportion weighted (OPW) estimator of the leading principal components can (nearly) attain the minimax optimal rate of convergence, which exhibits an interesting phase transition. However, deeper investigation reveals that, particularly in more realistic settings where the observation probabilities are heterogeneous, the empirical performance of the OPW estimator can be unsatisfactory; moreover, in the noiseless case, it fails to provide exact recovery of the principal components. Our main contribution, then, is to introduce a new method, which we call primePCA, that is designed to cope with situations where observations may be missing in a heterogeneous manner. Starting from the OPW estimator, primePCA iteratively projects the observed entries of the data matrix onto the column space of our current estimate to impute the missing entries, and then updates our estimate by computing the leading right singular space of the imputed data matrix. We prove that the error of primePCA converges to zero at a geometric rate in the noiseless case, and when the signal strength is not too small. An important feature of our theoretical guarantees is that they depend on average, as opposed to worst-case, properties of the missingness mechanism. Our numerical studies on both simulated and real data reveal that primePCA exhibits very encouraging performance across a wide range of scenarios, including settings where the data are not Missing Completely At Random.

研究の動機と目的

• 高次元PCAにおける既存の逆確率加重（IPW）推定の、非一様欠損の下での限界を克服すること。
• 一部の特徴量が他の特徴量よりも頻繁に観測されるような現実的な欠損パターンに対して頑健な手法を開発すること。
• 最悪ケースの欠損メカニズムではなく、平均的な欠損特性に依存する主成分回復の理論的保証を確立すること。
• 高次元設定における欠損データを伴うPCAのための実用的で理論的根拠を持つアルゴリズムを提供すること。

提案手法

• primePCA を提案する。これは、欠損値の補完と主成分推定の更新を交互に繰り返す反復的アルゴリズムである。
• 観測されたデータ行列のエントリを、現在の推定の列空間上への射影により欠損値を補完する。
• 各反復で、補完後のデータ行列の主要な右特異空間を計算することで推定値を更新する。
• 非一様欠損の下での回復可能性を保証するため、主成分に新しい非一様性条件を導入する。
• 反復手順の初期化として逆確率加重を用いる。
• 理論的分析により、信号強度が十分な場合、ノイズのない状況下で誤差が幾何的収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元PCAにおける既存のIPW推定は、非一様欠損の下でノイズのない状況で正確な回復を達成できるか？
• RQ2 高次元PCAにおける欠損データの下で一貫した回復を可能にする主成分と欠損メカニズムの構造的条件は何か？
• RQ3 非一様欠損と低ランク構造の相互作用は、PCA回復の可能性にどのように影響するか？
• RQ4 反復的精錬手順は、初期IPW推定よりも収束速度と精度を向上させられるか？
• RQ5 現実的な欠損パターン下での提案手法の有限標本および漸近的性質は何か？

主な発見

• 信号強度が十分でかつ非一様性条件が満たされる場合、ノイズのない状況下で primePCA は真の主成分へ幾何的収束を達成する。
• 理論的保証は、最悪ケースではなく平均的な欠損特性に依存するため、非一様パターンに対して頑健である。
• ノイズのない状況下で、IPW推定は正確な回復を達成できないため、反復的精錬の必要性が浮き彫りになる。
• 数値実験では、シミュレートデータおよび実世界データ（ミリオン・ソング・データセット含む）において、primePCA は IPW 推定を著しく上回る性能を示す。
• 理論的バウンドにより、適切な条件下で primePCA は対数要因を除き最小最大最適レートを達成することが示された。
• 非一様性条件は、主成分が欠損パターンと一致しないように保証する上で不可欠であり、一貫した回復を可能にする。