[論文レビュー] PCA, SVD, and Centering of Data

Donggun Kim, Kisung You|arXiv (Cornell University)|Jul 27, 2023

Spectroscopy and Chemometric Analyses被引用数 4

ひとこと要約

この論文は、SVDに基づくPCAにおけるデータセンター化の影響を厳密に分析し、センター化を省略した場合、最初の右特異ベクトルが平均方向を捉えること、および特定のスペクトル条件下では、結果として得られるPCA埋め込みが真のPCAと近似的に一致することを示している。主な貢献は、センター化ありとなしのSVDベースPCAの間の乖離を理論的に特徴づけ、センター化を省略することによる誤差の上限を提供することにある。

ABSTRACT

The research detailed in this paper scrutinizes Principal Component Analysis (PCA), a seminal method employed in statistics and machine learning for the purpose of reducing data dimensionality. Singular Value Decomposition (SVD) is often employed as the primary means for computing PCA, a process that indispensably includes the step of centering - the subtraction of the mean location from the data set. In our study, we delve into a detailed exploration of the influence of this critical yet often ignored or downplayed data centering step. Our research meticulously investigates the conditions under which two PCA embeddings, one derived from SVD with centering and the other without, can be viewed as aligned. As part of this exploration, we analyze the relationship between the first singular vector and the mean direction, subsequently linking this observation to the congruity between two SVDs of centered and uncentered matrices. Furthermore, we explore the potential implications arising from the absence of centering in the context of performing PCA via SVD from a spectral analysis standpoint. Our investigation emphasizes the importance of a comprehensive understanding and acknowledgment of the subtleties involved in the computation of PCA. As such, we believe this paper offers a crucial contribution to the nuanced understanding of this foundational statistical method and stands as a valuable addition to the academic literature in the field of statistics.

研究の動機と目的

• 非センター化SVDベースPCAが、センター化PCAの埋め込みと一致する条件を特定すること。
• 最初の右特異ベクトルがデータの平均方向をどのように捉えているかを明確化すること。
• SVDベースPCAにおけるセンター化の省略によって生じる誤差のスペクトルレベルの理論的上限を提供すること。
• 「非センター化行列の2番目から(k+1)番目の特異ベクトルが、真のPCAの最初のk個の主成分を近似できる」という一般的なヒューリスティックを、形式的に検証し、反証すること。
• 特に高次元設定におけるSVDベースPCAのアルゴリズム的基盤を深く理解すること。

提案手法

• 著者らは、センター化されたデータ行列 $\bar{X} = X - \mathbf{1}_n \bar{x}^\top$ と非センター化行列 $X$ のSVDを比較し、それらの特異ベクトルと特異値を分析している。
• 彼らは、$X$ と $\bar{X}$ の二乗特異値の部分和を関連付けるスペクトルバウンドを導出し、$\|X\|_{2,k+1}^2 - (\|\bar{X}\|_{2,k}^2 + n\|\bar{x}\|^2)$ が $\bar{\sigma}_1^2$ で有界であることを示している。
• 非センター化行列 $X$ の最初の右特異ベクトルと平均方向 $\bar{x}$ の関係を用いて、SVDとデータセンター化の間のつながりを確立している。
• 行列の摂動理論とスペクトル分解を用いて、センター化SVDと非センター化SVDの埋め込みの乖離を特徴づけている。
• 一般仮定（$p < n$）の下で理論的結果を導出し、コロナリー7を用いて低ランクデータ行列へと拡張している。
• スペクトル的解釈を用いて、非センター化行列の2番目から(k+1)番目の右特異ベクトルが、真のPCAの最初のk個の主成分を近似できるという、古くからの常識的信念を説明している。

実験結果

リサーチクエスチョン

• RQ1 非センター化SVDによるPCA埋め込みが、センター化SVDによる埋め込みと近似的に一致するのはどのような条件下か？
• RQ2 非センター化データ行列の最初の右特異ベクトルは、データの平均方向とどのように関係しているか？
• RQ3 センター化SVDと非センター化SVDにおける最初のk個の成分が説明する分散の合計の乖離に対する理論的上限は何か？
• RQ4 「非センター化行列の2番目から(k+1)番目の右特異ベクトルを用いることで、センター化PCAの最初のk個の主成分を代替的に近似できる」という、古くからのヒューリスティックは、理論的に正当化できるか？
• RQ5 データ行列のランクは、非センター化SVDが真のPCAにどの程度近い近似を与えるかにどのように影響するか？

主な発見

• 定理6により、非センター化SVDとセンター化SVDにおける最初のk個の成分が説明する分散の合計の乖離は、センター化行列の最大特異値の二乗 $\bar{\sigma}_1^2$ で有界であることが示された。
• データ行列が低ランクの場合でも、乖離は $\bar{\sigma}_1^2$ で有界であり、真のランクに依存しないことが、コロナリー7で形式化された。
• 非センター化行列 $X$ の最初の右特異ベクトルは、平均方向 $\bar{x}$ と一致しており、これがデータのグローバルな位置を捉えている理由が説明される。
• 非センター化行列 $X$ のSVDは、$\bar{X}$ のSVDとスペクトル的に関連づけられ、二乗特異値の部分和の差が $\bar{\sigma}_1^2$ で有界である。これは、非センター化SVDが主成分構造の大部分を捉えていることを示している。
• 定理6のバウンドにより、$\|X\|_{2,k+1}^2 - (\|\bar{X}\|_{2,k}^2 + n\|\bar{x}\|^2)$ が $(-\bar{\sigma}_1^2, \bar{\sigma}_1^2)$ の範囲にあることが示され、近似誤差の定量的測定が可能になった。
• 結果として、古くからのヒューリスティックが制限された設定において正当化された。$\bar{\sigma}_1^2$ が全分散に対して小さい場合には、$X$ の2番目から(k+1)番目の右特異ベクトルを用いることで、$\bar{X}$ の最初のk個の主成分の良い近似が得られる。