[論文レビュー] PCA from noisy, linearly reduced data: the diagonal case

Edgar Dobriban, William Leeb+1 more|arXiv (Cornell University)|Nov 30, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用数 5

ひとこと要約

この論文は、欠損データやデコンボリューション問題のような状況で、既知の対角行列を用いて線形に縮小されたノイズ付きデータに対して、主成分分析（PCA）の最適なスhrinkage手法を開発する。ノイズと対角線形縮小が同時に存在する状況における特異値および特異ベクトルの高次元漸近理論を確立し、共分散推定およびノイズ除去のための最適固有値および特異値スhrinkageを導出する。また、最適な予測器のチューニングが、サンプル内とサンプル外のノイズ除去の状況によって異なるが、両者の最小二乗平均誤差は同一であることを示す。

ABSTRACT

Suppose we observe data of the form $Y_i = D_i (S_i + \varepsilon_i) \in \mathbb{R}^p$ or $Y_i = D_i S_i + \varepsilon_i \in \mathbb{R}^p$, $i=1,\ldots,n$, where $D_i \in \mathbb{R}^{p imes p}$ are known diagonal matrices, $\varepsilon_i$ are noise, and we wish to perform principal component analysis (PCA) on the unobserved signals $S_i \in \mathbb{R}^p$. The first model arises in missing data problems, where the $D_i$ are binary. The second model captures noisy deconvolution problems, where the $D_i$ are the Fourier transforms of the convolution kernels. It is often reasonable to assume the $S_i$ lie on an unknown low-dimensional linear space; however, because many coordinates can be suppressed by the $D_i$, this low-dimensional structure can be obscured. We introduce diagonally reduced spiked covariance models to capture this setting. We characterize the behavior of the singular vectors and singular values of the data matrix under high-dimensional asymptotics where $n,p o\infty$ such that $p/n oγ>0$. Our results have the most general assumptions to date even without diagonal reduction. Using them, we develop optimal eigenvalue shrinkage methods for covariance matrix estimation and optimal singular value shrinkage methods for data denoising. Finally, we characterize the error rates of the empirical Best Linear Predictor (EBLP) denoisers. We show that, perhaps surprisingly, their optimal tuning depends on whether we denoise in-sample or out-of-sample, but the optimally tuned mean squared error is the same in the two cases.

研究の動機と目的

• ノイズがあり、かつ既知の対角行列によって線形に縮小された信号に対してPCAを実行する課題に対処すること。これは、欠損データやデコンボリューション問題に該当する。
• このような縮小状況下での共分散行列推定およびデータのノイズ除去のための最適固有値および特異値スhrinkage手法を開発すること。
• n, p → ∞ かつ p/n → γ > 0 である高次元設定において、特異ベクトルおよび特異値の漸近的挙動を特定すること。
• ノイズ除去のための経験的最良線形予測子（EBLP）の性能を、サンプル内とサンプル外のチューニングの違いに着目して分析すること。

提案手法

• 高次元信号回復におけるノイズと対角線形縮小の両方の影響を捉えるために、対角線形縮小付きスパiked共分散モデルを提案する。
• 元の信号が低次元部分空間上にあるという仮定の下で、データ行列の特異値および特異ベクトルの高次元漸近限界を導出する。
• 確率的行列理論および行列逆行列の差分公式を用いて、漸近的条件下で、縮小されたデータの標本共分散が決定的等価に収束することを示す。
• 漸近的スペクトル挙動に基づき、共分散推定のための最適固有値スhrinkageおよびノイズ除去のための最適特異値スhrinkageを構築する。
• サンプル内およびサンプル外の両設定において、EBLPノイズ除去器の平均二乗誤差を分析することで、最適チューニングを導出する。
• サンプル内とサンプル外のノイズ除去において最適チューニングパラメータは異なるが、それらがもたらす最小平均二乗誤差は、漸近的に同一であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズと対角線形縮小が同時に存在する状況において、縮小されたデータ行列の特異値および特異ベクトルは、どのように漸近的に振る舞うか？
• RQ2 元の信号の共分散行列を、ノイズありで縮小された観測から推定するための最適固有値スhrinkageルールは何か？
• RQ3 元の信号を、縮小されノイズの混入したデータからノイズ除去するための最適特異値スhrinkageルールは何か？
• RQ4 経験的最良線形予測子（EBLP）の性能は、ノイズ除去がサンプル内かサンプル外かによってどのように異なるか？
• RQ5 EBLPが達成可能な最小平均二乗誤差は、サンプル内とサンプル外の両状況で同一であるか？

主な発見

• 縮小されたデータ行列の特異値および特異ベクトルの漸近的分布は、信号対雑音比および縮小行列の性質に依存する決定的極限に収束する。
• 共分散推定のための最適固有値スhrinkageルールは、漸近的スペクトル分布から導出され、高次元漸近的条件下で一貫性を示すことが示された。
• ノイズ除去のための最適特異値スhrinkage手法は、高次元極限において最小可能な平均二乗誤差を達成する。
• サンプル内とサンプル外のノイズ除去において最適EBLPチューニングパラメータは異なるが、それらがもたらす最小平均二乗誤差は、両者ともに漸近的に同一である。
• デローカライズド信号の下で、経験的および理論的共分散構造の漸近的同等性を用いて、EBLPが最適ノイズ除去器に収束することを確立した。
• ノイズありで縮小されたデータ設定におけるPCAの厳密な理論的基盤を提供し、最適スhrinkageおよび予測性能の明示的公式を提示した。