[论文解读] Inference for Heteroskedastic PCA with Missing Data

Yuling Yan, Yuxin Chen+1 more|arXiv (Cornell University)|Jul 26, 2021

Sparse and Compressive Sensing Techniques参考文献 70被引用 7

一句话总结

本文提出了一种基于数据驱动的主成分分析（PCA）推断框架，适用于高维、异方差噪声及缺失数据情形，采用异方差PCA估计器（HeteroPCA）。该方法建立了非渐近分布保证，用于构建主子空间的有效置信区域以及稀疏协方差矩阵的逐元素置信区间，且无需事先知晓噪声方差。

ABSTRACT

This paper studies how to construct confidence regions for principal component analysis (PCA) in high dimension, a problem that has been vastly under-explored. While computing measures of uncertainty for nonlinear/nonconvex estimators is in general difficult in high dimension, the challenge is further compounded by the prevalent presence of missing data and heteroskedastic noise. We propose a novel approach to performing valid inference on the principal subspace under a spiked covariance model with missing data, on the basis of an estimator called HeteroPCA (Zhang et al., 2022). We develop non-asymptotic distributional guarantees for HeteroPCA, and demonstrate how these can be invoked to compute both confidence regions for the principal subspace and entrywise confidence intervals for the spiked covariance matrix. Our inference procedures are fully data-driven and adaptive to heteroskedastic random noise, without requiring prior knowledge about the noise levels.

研究动机与目标

• 填补高维设置下存在缺失数据和异方差噪声时PCA不确定性量化的关键空白。
• 开发一种完全基于数据的推断程序，可自适应地处理各数据项中未知的噪声水平。
• 在存在缺失数据的稀疏协方差模型下，为HeteroPCA估计器建立非渐近分布保证。
• 实现主子空间的有效置信区域以及协方差矩阵的逐元素置信区间。
• 在不依赖采样率或噪声方差知识的前提下，对异方差噪声和缺失数据模式保持鲁棒性。

提出的方法

• 以Zhang等（2022）提出的HeteroPCA估计器为基础，用于在异方差噪声和缺失数据条件下进行子空间估计。
• 利用主子空间的二阶扰动理论，推导估计误差的非渐近分布近似。
• 建立关键的误差分解，将信号与噪声分量分离，从而实现对估计器的分布表征。
• 采用基于数据的插补估计方法，对主子空间的协方差矩阵和逐元素方差进行估计，避免依赖已知的噪声水平。
• 通过基于分布理论推导出的渐近正态近似，构建置信区域与置信区间。
• 应用精细化分析框架，以处理行间异方差噪声及在随机采样模型下的缺失数据。

实验结果

研究问题

• RQ1 在数据缺失且噪声异方差的高维PCA中，能否为子空间构建有效的置信区域？
• RQ2 在不掌握噪声方差或采样率先验知识的情况下，如何量化PCA中的不确定性？
• RQ3 在存在缺失数据和异方差噪声的条件下，可为HeteroPCA估计器建立哪些非渐近分布保证？
• RQ4 在相同条件下，能否为稀疏协方差矩阵构建逐元素置信区间？
• RQ5 在何种最简噪声结构假设下，仍可实现高维PCA中缺失数据下的有效数据驱动推断？

主要发现

• 本文在存在缺失数据和异方差噪声的稀疏协方差模型下，为HeteroPCA估计器建立了非渐近分布保证。
• 通过基于数据的渐近协方差矩阵估计，构建了主子空间的置信区域，且无需知晓噪声水平。
• 稀疏协方差矩阵的逐元素置信区间具有有效性且具备自适应性，仅依赖于观测数据，无需噪声方差的先验信息。
• 当采样率p未知但噪声水平相对于信号强度足够小时，该方法仍保持鲁棒性。
• 理论分析表明，估计器在温和条件下实现了第一阶与第二阶近似，支持有效的推断。
• 该框架被扩展至各数据项间存在异方差噪声的情形，但若无对噪声结构的更强假设，数据驱动推断将不可行。