[論文レビュー] High Dimensional Principal Component Scores and Data Visualization

Dan Shen, Haipeng Shen+2 more|arXiv (Cornell University)|Nov 12, 2012

Bayesian Methods and Mixture Models参考文献 7被引用数 4

ひとこと要約

この論文は、次元数d → ∞ かつ標本サイズnが固定される高次元・低標本サイズ（HDLSS）設定における主成分分析（PCA）において、標本の主成分スコアが母集団スコアの一貫した推定量でない一方で、固有ベクトルは一貫しているというパラドックスを解消する。標本スコアと母集団スコアの比が、すべてのデータポイントにおいて共通の確率変数に確率的に収束することを示し、これにより可視化における相対的な点の位置関係が保たれることを明らかにする。このため、軸のスケーリングが一貫しない状況下でも、クラスタリングの洞察が信頼できるものとなる。

ABSTRACT

Principal component analysis is a useful dimension reduction and data visualization method. However, in high dimension, low sample size asymptotic contexts, where the sample size is fixed and the dimension goes to infinity,a paradox has arisen. In particular, despite the useful real data insights commonly obtained from principal component score visualization, these scores are not consistent even when the sample eigen-vectors are consistent. This paradox is resolved by asymptotic study of the ratio between the sample and population principal component scores. In particular, it is seen that this proportion converges to a non-degenerate random variable. The realization is the same for each data point, i.e. there is a common random rescaling, which appears for each eigen-direction. This then gives inconsistent axis labels for the standard scores plot, yet the relative positions of the points (typically the main visual content) are consistent. This paradox disappears when the sample size goes to infinity.

研究の動機と目的

• 次元数d → ∞ かつ標本サイズnが固定される高次元・低標本サイズ（HDLSS）設定における主成分スコアの漸近的挙動を調査すること。
• 標本固有ベクトルは一貫しているが、標本主成分スコアが母集団スコアの一致した推定量でないという、表面的パラドックスを解消すること。
• この不一致にもかかわらず、主成分スコアによるデータ可視化がなぜ効果的であるかを理解すること。
• スコア図における相対的構造が科学的推論に信頼できるものとなる条件を確立すること。
• HDLSS設定において、固有ベクトルの一貫性とスコアの不一致の違いを明確にすること。

提案手法

• d → ∞ かつ固定されたnの高次元・低標本サイズの漸近的枠組みを用い、共分散構造が既知のd次元正規分布としてデータをモデル化する。
• 母集団主成分スコアS_jを、母集団固有ベクトルu_jへのデータの標準化された射影として定義する。
• 標本固有ベクトルŝ_jと固有値λ̂_jを用いて、標本主成分スコアŜ_jを定義する。
• スコアの一致性を調査するために、比|Ŝ_{i,j}/S_{i,j}|を分析し、固有値と固有ベクトルの推定に起因する寄与を分解する。
• 確率的極限とほとんど確実収束を適用し、比が非退化確率変数R_jに確率的に収束することを示し、その分布は√(n/χ²_n)である。
• コーシー＝シュワルツの不等式と固有ベクトル間の角度に関する漸近的結果を用いて、d → ∞ の際にクロス項の寄与が確率的に消えることを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元・低標本サイズデータにおいて、標本スコアが不一致であるにもかかわらず、なぜ主成分スコア図が視覚的に有用なのであろうか？
• RQ2 HDLSS設定下で、標本スコアと母集団スコアの比の極限分布は何か？
• RQ3 個々のスコアの不一致は、PCA図におけるクラスタリングパターンの信頼性を損なうのか？
• RQ4 スコアの不一致が消える条件は何か？ そして、どのような条件下で固有ベクトルとスコアの両方が一貫するようになるのか？
• RQ5 共通の確率的スケーリング要因は、HDLSS設定におけるPCA可視化の解釈にどのように影響を与えるか？

主な発見

• 標本スコアと母集団スコアの比は、すべてのデータポイントにおいて同じ分布√(n/χ²_n)の非退化確率変数R_jに確率的に収束する。
• この共通の確率的スケーリング要因により、PCAスコア図では軸のラベルが不一致になるが、点同士の相対的位置関係は一貫している。
• 個々のスコアが不一致であっても、スコア図における相対的構造（例えばクラスタリングパターン）は信頼性があり、解釈可能である。
• パラドックスが解消されるのは、標本サイズn → ∞ となるときであり、その条件下では固有ベクトルとスコアの両方が一貫するようになる。
• 比の収束は、d → ∞ かつ d/λ_m → 0 であり、固有値が0から離れていると仮定することで確立される。
• 漸近的挙動は、母集団共分散行列の固有値分解と、標本固有値・固有ベクトルの極限的性質を用いて導出される。