[論文レビュー] Heteroskedastic PCA: Algorithm, Optimality, and Applications

Anru R. Zhang, Tommaso Cai+1 more|arXiv (Cornell University)|Oct 19, 2018

Blind Source Separation Techniques被引用数 6

ひとこと要約

本稿では、変数ごとに分散が異なる異分散性ノイズ下における主成分分析のための新しいアルゴリズム、HeteroPCA を提案する。繰り返しサンプル共分散行列の対角成分を補完することでバイアスを是正し、一般化スプライス型共分散モデル下で理論的に最適な推定を達成する。その根拠として、頑健な特異部分空間摂動解析を用いる。

ABSTRACT

A general framework for principal component analysis (PCA) in the presence of heteroskedastic noise is introduced. We propose an algorithm called HeteroPCA, which involves iteratively imputing the diagonal entries of the sample covariance matrix to remove estimation bias due to heteroskedasticity. This procedure is computationally efficient and provably optimal under the generalized spiked covariance model. A key technical step is a deterministic robust perturbation analysis on singular subspaces, which can be of independent interest. The effectiveness of the proposed algorithm is demonstrated in a suite of problems in high-dimensional statistics, including singular value decomposition (SVD) under heteroskedastic noise, Poisson PCA, and SVD for heteroskedastic and incomplete data.

研究の動機と目的

• 変数間でノイズ分散が異分散的である場合に、古典的PCAが一貫性を失う問題に対処すること。
• 異分散性によるサンプル共分散推定のバイアスを是正する、計算的に効率的なアルゴリズムの開発。
• 一般化スプライス型共分散モデル下で、提案手法の理論的最適性の確立。
• ガウス分布や等方的ノイズの仮定なしに、特異部分空間に対する頑健な摂動解析を適用可能な決定論的枠組みの構築。

提案手法

• HeteroPCAを提案する。このアルゴリズムは、非対角成分の情報を用いて、サンプル共分散行列の対角成分を繰り返し更新することで、異分散性ノイズによるバイアスを低減する。
• 特異部分空間に対する決定論的で頑健な摂動解析を用い、推定誤差の理論的境界を導出する。
• 高次元問題、例えば異分散性ノイズ下のSVD、ポアソンPCA、異分散性を伴う不完全データに対して、本手法を適用する。
• ネットに基づく濃縮不等式（例：ε-ネット）を用いて、摂動のスペクトルノルムおよびフロベニウスノルムを制御する。
• HeteroPCAの最適性を示すために、一致するミニマックス下界を確立する。
• サブガウス型尾部バウンドおよび行列濃縮のツールを用い、非球面的ノイズ下での推定量の挙動を分析する。

Figure 1: Average $\sin\Theta$ loss versus sample size $n$ under the generalized spiked covariance model (Section 4.1 ). Upper panel: $r=3$ ; lower panel: $r=5$

実験結果

リサーチクエスチョン

• RQ1 変数間でノイズ分散が異分散的である場合、古典的PCAは主成分を一貫して推定できるか？
• RQ2 異分散性ノイズがサンプル共分散推定に及えるバイアスを是正する、計算的に効率的なアルゴリズムは存在するか？
• RQ3 一般化スプライス型共分散モデル下で、異分散性ノイズを伴う主部分空間の推定におけるミニマックス最適レートは何か？
• RQ4 ガウス分布や等方的ノイズの仮定なしに、特異部分空間に対する頑健な摂動境界をどのように導出できるか？
• RQ5 HeteroPCAは、ポアソン分布に従うデータや、異分散性を伴う不完全データといった実世界の問題に効果的に適用可能か？

主な発見

• HeteroPCAは、異分散性ノイズを伴う一般化スプライス型共分散モデル下で、主部分空間の推定においてミニマックス最適レートを達成する。
• 変数間でノイズ分散が不均一な場合、HeteroPCAは古典的PCAに比べて、部分空間推定の精度が顕著に優れている。
• 理論的解析により、提案手法が対数因子を除いて最適であることが示され、ミニマックス下界と一致する。
• 特異部分空間に対する新しい決定論的摂動境界が導出され、PCAを超えた分野においても独立に価値がある。
• ポアソンPCAおよび不完全で異分散性のあるデータに対するSVDに本手法を適用し、強力な実験的性能を示した。
• ε-ネット被覆議論やサブガウス型尾部バウンドといった高度な道具を用いて、理論的保証を確立した。

(a) $p=50,n=30,r=5$