[論文レビュー] Optimally Weighted PCA for High-Dimensional Heteroscedastic Data

David Hong, Yang, Fan+2 more|arXiv (Cornell University)|Oct 30, 2018

Blind Source Separation Techniques参考文献 1被引用数 12

ひとこと要約

本稿では、サンプルごとにノイズ分散が異なる高次元の不均一分散データに対する最適重み付きPCAを提案する。ノイズ分散の関数として単純な形で最適重みを導出するが、予想に反して逆ノイズ分散ではない。シミュレーションおよび実宇宙データにおいて、従来の重み付け手法よりも優れた性能を示し、高次元漸近的状態で優位性を発揮する。

ABSTRACT

Modern data are increasingly both high-dimensional and heteroscedastic. This paper considers the challenge of estimating underlying principal components from high-dimensional data with noise that is heteroscedastic across samples, i.e., some samples are noisier than others. Such heteroscedasticity naturally arises, e.g., when combining data from diverse sources or sensors. A natural way to account for this heteroscedasticity is to give noisier blocks of samples less weight in PCA by using the leading eigenvectors of a weighted sample covariance matrix. We consider the problem of choosing weights to optimally recover the underlying components. In general, one cannot know these optimal weights since they depend on the underlying components we seek to estimate. However, we show that under some natural statistical assumptions the optimal weights converge to a simple function of the signal and noise variances for high-dimensional data. Surprisingly, the optimal weights are not the inverse noise variance weights commonly used in practice. We demonstrate the theoretical results through numerical simulations and comparisons with existing weighting schemes. Finally, we briefly discuss how estimated signal and noise variances can be used when the true variances are unknown, and we illustrate the optimal weights on real data from astronomy.

研究の動機と目的

• 高次元データにおける不均一分散ノイズ（一部のサンプルが他よりノイズが多い）の下で、従来のPCAの性能劣化を是正すること。
• 潜在的な主成分の推定誤差を最小化する重み付きPCAの最適重みを特定すること。
• 高次元漸近的仮定（n, p → ∞ かつ p/n → c ∈ (0, ∞)）の下で、理論的裏付けがあり単純な信号およびノイズ分散の関数として定義される最適重みを導出すること。
• シミュレーションおよび実データを用いて、提案手法の最適重みが既存の手法よりも顕著にPCA性能を向上させることを示すこと。

提案手法

• ノイズレベルに応じてサンプルのブロックに重みを割り当て、重み付き標本共分散行列を用いて重み付きPCAを定式化する。
• 各ブロックにi.i.d.なサブガウスノイズを仮定し、高次元漸近的状態（n, p → ∞ かつ p/n → c ∈ (0, ∞)）において解析的に最適重みを導出する。
• ランダム行列理論を用いて、重み付き標本共分散行列の固有値および固有ベクトルの漸近的挙動を特徴付ける。
• 最適重みは信号およびノイズ分散に依存するが、一般的に用いられる逆ノイズ分散ではないことが示される。
• 真の信号およびノイズ分散が不明な場合に実用的に使用可能な推定戦略（標本分散を用いる）を提案する。
• スローンデジタルスカイサーベイから得たクェーサー分光データを用いた数値的シミュレーションおよび実データ解析により、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 データが高次元的かつサンプル間で不均一分散である場合、重み付きPCAの最適重みは何か？
• RQ2 高次元極限において、最適重みは元の信号およびノイズ分散とどのように関係するか？
• RQ3 なぜ逆ノイズ分散重み付けが広く用いられているにもかかわらず、最適性能を達成できないのか？
• RQ4 現実的な高次元設定において、漸近的最適重みは有限標本最適重みにどれほど近いか？
• RQ5 真の分散が不明な場合に、推定された信号およびノイズ分散を効果的に使用できるか？

主な発見

• 最適重みは信号およびノイズ分散の単純な関数ではあるが、実際には逆ノイズ分散ではない。これは実務で一般的に用いられているものとは異なる。
• 高次元漸近的状態では、最適重みは信号対ノイズ分散比に依存する閉形式の式に収束する。
• 数値的シミュレーションにより、次元が大きい場合には漸近的最適重みが有限標本最適重みに近いことが示された。
• 主成分推定精度の観点から、提案手法の最適重みは均一重み付けおよび逆分散重み付けの両方を上回る。
• シミュレーションにおいて、提案手法は既存の手法よりも広い範囲の設定で非ゼロの漸近的性能を達成した。
• 実クェーサー分光データにおいて、最適重みは異種のデータソースを効果的に統合し、標準PCAおよび他の重み付け戦略よりも優れた成分回復性能を示した。