[論文レビュー] Inference for Heteroskedastic PCA with Missing Data

Yuling Yan, Yuxin Chen+1 more|arXiv (Cornell University)|Jul 26, 2021

Sparse and Compressive Sensing Techniques参考文献 70被引用数 7

ひとこと要約

本稿は、高次元で不均一分散ノイズおよび欠損データが存在する状況下における主成分分析（PCA）のデータ駆動型推論フレームワークを提案する。HeteroPCA推定量を用い、ノイズ分散の事前知識が不要な非漸近的分布的保証を確立することで、主部分空間の有効な信頼領域およびスパiked共分散行列のエントリごとの信頼区間を構築する。

ABSTRACT

This paper studies how to construct confidence regions for principal component analysis (PCA) in high dimension, a problem that has been vastly under-explored. While computing measures of uncertainty for nonlinear/nonconvex estimators is in general difficult in high dimension, the challenge is further compounded by the prevalent presence of missing data and heteroskedastic noise. We propose a novel approach to performing valid inference on the principal subspace under a spiked covariance model with missing data, on the basis of an estimator called HeteroPCA (Zhang et al., 2022). We develop non-asymptotic distributional guarantees for HeteroPCA, and demonstrate how these can be invoked to compute both confidence regions for the principal subspace and entrywise confidence intervals for the spiked covariance matrix. Our inference procedures are fully data-driven and adaptive to heteroskedastic random noise, without requiring prior knowledge about the noise levels.

研究の動機と目的

• 欠損データおよび不均一分散ノイズを伴う高次元設定におけるPCAの不確実性評価の重要なギャップを埋める。
• エントリごとのノイズレベルが未知である状況に適応する完全にデータ駆動型の推論手順を開発する。
• 欠損データを伴うスパiked共分散モデル下でHeteroPCA推定量の非漸近的分布的保証を確立する。
• 主部分空間の有効な信頼領域および共分散行列のエントリごとの信頼区間を可能にする。
• ノイズの分散やサンプリングレートの知識が不要な状況でも、不均一分散ノイズおよび欠損データのパターンに対してロバストであることを保証する。

提案手法

• 不均一分散ノイズおよび欠損データ下での部分空間推定の基盤として、Zhangら（2022）のHeteroPCA推定量を活用する。
• 主部分空間の推定誤差の非漸近的分布近似を、第二階級の摂動理論を用いて導出する。
• 信号成分とノイズ成分を分離する重要な誤差分解を確立し、推定量の分布的特性を特徴づける。
• 主部分空間の共分散行列およびエントリごとの分散のデータ駆動型プラグイン推定量を用い、既知のノイズレベルに依存しない。
• 分布理論から導出された漸近正規近似を用いて、信頼領域および信頼区間を構築する。
• ランダムサンプリングモデル下で、行ごとの不均一分散ノイズおよび欠損データを扱うための洗練された分析フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 欠損データおよび不均一分散ノイズが存在する高次元PCAにおいて、主部分空間の有効な信頼領域を構築することは可能か？
• RQ2 ノイズ分散やサンプリングレートの事前知識がなければ、PCAにおける不確実性をどのように評価できるか？
• RQ3 欠損データおよび不均一分散ノイズ下で、HeteroPCA推定量に対してどのような非漸近的分布的保証を確立できるか？
• RQ4 同じ条件下で、スパiked共分散行列のエントリごとの信頼区間を構築することは可能か？
• RQ5 欠損データを伴うPCAにおける有効なデータ駆動型推論を可能にするために、ノイズ構造に必要な最小限の仮定は何か？

主な発見

• 本稿は、欠損データおよび不均一分散ノイズを伴うスパiked共分散モデル下で、HeteroPCA推定量の非漸近的分布的保証を確立した。
• ノイズレベルの知識が不要なデータ駆動型の漸近的共分散行列推定量を用いて、主部分空間の信頼領域を構築した。
• スパiked共分散行列のエントリごとの信頼区間は有効かつ適応的であり、観測データのみに依存し、ノイズ分散の事前情報は一切不要であった。
• サンプリングレートpが未知であっても、ノイズレベルが信号強度に対して十分に小さい限り、手法はロバストである。
• 理論的分析により、推定量が第一および第二階級の近似を達成し、緩い条件下でも有効な推論を可能にすることが示された。
• ノイズ構造に強い仮定を置かなければ、データ駆動型推論は不適切になるが、本フレームワークは不均一分散ノイズがエントリごとにある状況に対しても拡張可能である。