[論文レビュー] The curse of isotropy: from principal components to principal subspaces

Tom Szwagier, Xavier Pennec|arXiv (Cornell University)|Jul 28, 2023

Spectroscopy and Chemometric AnalysesChemistry被引用数 3

ひとこと要約

本稿では、繰り返し同じ固有値を持つ共分散行列をフラッグ多様体を用いてモデル化することで、モデルの複雑さとフィットの程度の間の原理的で整合性のあるトレードオフを可能にする、確率的PCAの一般化である階層的主成分分析（SPCA）を提案する。また、隣接する固有値のギャップが21%未満の場合、それらを区別するには1000件以上の標本が必要であり、このため小標本領域ではブロック平均化がより優れた選択となることが示された。

ABSTRACT

Principal component analysis is a ubiquitous tool in exploratory data analysis. It is widely used by applied scientists for visualization and interpretability purposes. We raise an important issue (the curse of isotropy) about the interpretation of principal components with close eigenvalues. They may indeed suffer from an important rotational variability, which is a pitfall for interpretation. Through the lens of a probabilistic covariance model parameterized with flags of subspaces, we show that the curse of isotropy cannot be overlooked in practice. In this context, we propose to transition from ill-defined principal components to more-interpretable principal subspaces. The final methodology (principal subspace analysis) is extremely simple and shows promising results on a variety of datasets from different fields.

研究の動機と目的

• 固有値が近接している場合、特に小標本領域において、PCAにおける固有ベクトルの実用的同定可能性を解決すること。
• 信号空間における繰り返し同じ固有値の許容を含めることで、確率的PCA（PPCA）を拡張し、モデルの簡潔さを向上させること。
• 固有値の重複度を持つ共分散モデルのパrameterizationを統一するための幾何学的枠組みを提供すること。
• 固有値の重複度の階層的構造を活用して、SPCAの指数関数的に増加するモデル族に対する効率的かつ一貫性のあるモデル選択ヒューリスティクスを開発すること。
• 隣接する固有値を小さなギャップでグループ化することで、標準的なPPCAと比較して、複雑さとフィットの程度のトレードオフが改善されることを実証的に検証すること。

提案手法

• 固有値が等価な値のブロックにグループ化された共分散モデル（SPCA）の族を提案し、フラッグ多様体によってパrameterizationを行う。
• 標本共分散行列の固有値分解を経て、隣接する固有値をブロック平均化することで、明示的な最尤推定を導出する。
• 整数の合成を用いた固有値重複度の階層的構造により、SPCAモデルに部分順序を定義し、階層的モデル選択を可能にする。
• ベイズ情報量基準（BIC）を用いてモデルを比較し、フラッグ多様体の幾何学的構造から導かれる自由パラメータ数をペナルティ項に組み込む。
• 最初に同じ重複度ブロック内での固有値の統合を行い、次にギャップの大きさが増加する順にブロックを統合する階層的クラスタリングのヒューリスティクスを開発する。
• 階層的クラスタリングおよび最尤推定の両方の選択が漸近的に一貫していることを証明し、標本サイズが増加するにつれて真のモデルが回復されることを示す。

Figure 1 : SPCA generative model ( 6 ), assuming that the observed data was first sampled from a sequence of independent lower dimensional normal latent variables, then linearly mapped to mutually orthogonal subspaces and finally shifted and added an isotropic Gaussian noise. The resulting density i

実験結果

リサーチクエスチョン

• RQ1 隣接する標本固有値が統計的に区別可能となる条件は何か？ また、その区別に必要な最小標本数は？
• RQ2 小標本領域において、小さなギャップを持つ隣接固有値をグループ化することで、標準的なPPCAと比較して、複雑さとフィットの程度のトレードオフが改善されるか？
• RQ3 フラッグ多様体に基づく統一的な幾何学的枠組みは、繰り返し同じ固有値を持つ共分散モデルの原理的パラメータ化を可能にするか？
• RQ4 指数関数的に増加するSPCAモデル族に対して、効率的かつ一貫性のあるモデル選択手順は存在するか？
• RQ5 SPCAモデルにおける自由パラメータ数は、固有値の重複度構造にどのように依存するか？

主な発見

• 相対的ギャップが21%未満の隣接する固有値ペアは、BICを用いて信頼性を持って区別するには最低1000件の標本が必要である。
• 隣接する固有値のギャップが21%の閾値未満の場合、2次元の固有空間を有する等しい固有値を持つモデルがBICの観点でより最適である。
• 合成データおよび実データの両方において、SPCAモデルは標準的なPPCAと比較して、特に低標本領域において、複雑さとフィットの程度のトレードオフが優れている。
• モデル選択のための階層的クラスタリングヒューリスティクスは、漸近的に一貫しており、標本サイズが増加するにつれて真のモデルタイプを正しく回復する。
• 最尤推定器は、固有値分解とブロック平均化により明示的に計算可能であり、自由パラメータ数はフラッグ多様体の構造によって決定される。
• フラッグ多様体による幾何的解釈は、PPCAと等方的PPCA（IPPCA）を一般化する統一的な枠組みを提供し、重複度の階層的構造から明確なパラメータ数が導かれる。

Figure 2 : Plot of the inverse threshold function $\delta^{-1}$ of Proposition 3 , corresponding to the minimal number of samples needed to distinguish two adjacent eigenvalues separated by a given relative eigengap.