[论文解读] High-dimensional principal component analysis with heterogeneous missingness

Ziwei Zhu, Tengyao Wang+1 more|arXiv (Cornell University)|Jun 28, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用 22

一句话总结

该论文提出 primePCA，一种新颖的迭代方法，用于在特征间缺失概率异质（即不同特征的缺失概率不同）的高维主成分分析中。该方法从逆概率加权估计器出发，通过交替地将缺失条目投影到当前估计的列空间中进行填补，并通过填补后矩阵的SVD更新估计。在一种新型无 coherence 条件下，该方法在无噪声情况下实现对真实主成分的几何收敛，理论保证依赖于平均缺失性状，而非最坏情况下的缺失特性。

ABSTRACT

We study the problem of high-dimensional Principal Component Analysis (PCA) with missing observations. In a simple, homogeneous observation model, we show that an existing observed-proportion weighted (OPW) estimator of the leading principal components can (nearly) attain the minimax optimal rate of convergence, which exhibits an interesting phase transition. However, deeper investigation reveals that, particularly in more realistic settings where the observation probabilities are heterogeneous, the empirical performance of the OPW estimator can be unsatisfactory; moreover, in the noiseless case, it fails to provide exact recovery of the principal components. Our main contribution, then, is to introduce a new method, which we call primePCA, that is designed to cope with situations where observations may be missing in a heterogeneous manner. Starting from the OPW estimator, primePCA iteratively projects the observed entries of the data matrix onto the column space of our current estimate to impute the missing entries, and then updates our estimate by computing the leading right singular space of the imputed data matrix. We prove that the error of primePCA converges to zero at a geometric rate in the noiseless case, and when the signal strength is not too small. An important feature of our theoretical guarantees is that they depend on average, as opposed to worst-case, properties of the missingness mechanism. Our numerical studies on both simulated and real data reveal that primePCA exhibits very encouraging performance across a wide range of scenarios, including settings where the data are not Missing Completely At Random.

研究动机与目标

• 解决现有逆概率加权（IPW）估计器在高维 PCA 中缺失性异质时的局限性。
• 开发一种对某些特征观测频率高于其他特征的现实缺失模式具有鲁棒性的方法。
• 建立主成分恢复的理论保证，其依赖于平均缺失机制，而非最坏情况下的缺失机制。
• 为高维设置下存在缺失数据的 PCA 提供一种实用且理论基础坚实的算法。

提出的方法

• 提出 primePCA，一种迭代算法，交替进行缺失条目的填补和主成分估计的更新。
• 通过将数据矩阵当前估计的列空间上的观测条目进行投影，填补缺失条目。
• 在每次迭代中，通过计算填补后数据矩阵的主导右奇异子空间来更新估计。
• 引入一种关于主成分的新无 coherence 条件，以确保在异质缺失性下恢复的可行性。
• 采用逆概率加权作为初始估计器，以初始化迭代过程。
• 理论分析表明，在信号强度足够强的无噪声情况下，误差实现几何收敛至零。

实验结果

研究问题

• RQ1 现有高维 PCA 的 IPW 估计器在无噪声情况下，于异质缺失性下能否实现精确恢复？
• RQ2 主成分和缺失机制的何种结构条件可实现高维 PCA 中缺失数据的一致恢复？
• RQ3 异质缺失性与低秩结构之间的相互作用如何影响 PCA 恢复的可行性？
• RQ4 迭代精炼过程是否能在收敛速度和精度上优于初始 IPW 估计器？
• RQ5 在现实缺失模式下，该方法的有限样本性质和渐近性质如何？

主要发现

• 当信号强度不过弱且无 coherence 条件成立时，primePCA 在无噪声情况下可实现对真实主成分的几何收敛。
• 理论保证依赖于缺失机制的平均特性，而非最坏情况，使该方法对异质模式具有鲁棒性。
• 在无噪声情况下，IPW 估计器无法实现精确恢复，凸显了迭代精炼的必要性。
• 在模拟和真实数据集（包括 Million Song Dataset）的数值实验中，该方法显著优于 IPW 估计器。
• 理论界表明，在适当条件下，primePCA 的收敛速率接近 minimax 最优，仅相差对数因子。
• 无 coherence 条件对确保主成分不与缺失模式对齐至关重要，从而实现一致恢复。