[論文レビュー] Selecting the number of components in PCA via random signflips

David Hong, Yue Sheng+1 more|arXiv (Cornell University)|Dec 5, 2020

Random Matrices and Applications参考文献 78被引用数 14

ひとこと要約

本稿では、不均一なノイズ下でのPCAにおける成分数の選択のための新規手法であるSignflip Parallel Analysis (FlipPA) を提案する。データ要素の符号をランダムに反転させることで、経験的ノイズ分布を生成し、FlipPAは漸近的でない第一種誤りの制御と、古典的手法が失敗する高次元かつ不均一分散の設定でも一貫したランク推定を達成する。

ABSTRACT

Principal component analysis (PCA) is a foundational tool in modern data analysis, and a crucial step in PCA is selecting the number of components to keep. However, classical selection methods (e.g., scree plots, parallel analysis, etc.) lack statistical guarantees in the increasingly common setting of large-dimensional data with heterogeneous noise, i.e., where each entry may have a different noise variance. Moreover, it turns out that these methods, which are highly effective for homogeneous noise, can fail dramatically for data with heterogeneous noise. This paper proposes a new method called signflip parallel analysis (FlipPA) for the setting of approximately symmetric noise: it compares the data singular values to those of "empirical null" matrices generated by flipping the sign of each entry randomly with probability one-half. We develop a rigorous theory for FlipPA, showing that it has nonasymptotic type I error control and that it consistently selects the correct rank for signals rising above the noise floor in the large-dimensional limit (even when the noise is heterogeneous). We also rigorously explain why classical permutation-based parallel analysis degrades under heterogeneous noise. Finally, we illustrate that FlipPA compares favorably to state-of-the art methods via numerical simulations and an illustration on data coming from astronomy.

研究の動機と目的

• ノイズの分散が各要素で異なる状況におけるPCAのランク推定という、現代の高次元データで一般的だが十分に取り扱われていない問題に取り組む。
• スクリープロットやパーミュテーションベースのパラレル分析といった古典的手法が不均一なノイズ条件下で失敗するのを克服する。
• ノイズ分散の事前知識が不要な、理論的裏付けがありデータ駆動型の手法を開発する。
• 大次元極限におけるランク選択に関して、漸近的でない第一種誤りの制御と一貫性の保証を確立する。

提案手法

• データ行列の各要素に独立にランダムな符号反転（等確率で±1）を適用することで、経験的ノイズ固有値を生成する。
• 符号反転された行列からの固有値の経験的分布と、元のデータ行列の観測固有値を比較する。
• ノイズ分布の所定の分位数（例：95百分位数）を超える固有値を持つ成分を選択する。これは古典的手法のパラレル分析に類似している。
• 理論的分析により、この手順が漸近的でない第一種誤りの制御を実現し、対称的ノイズ下で真のランクを一貫して推定できることを示す。
• 符号反転によりノイズの周辺分布が対称性のもとで保存されるため、この手法は要素ごとの不均一分散に対して頑健である。
• パーミュテーションベースのパラレル分析が不均一なノイズ下で失敗する理由を理論的に説明する。一方、符号反転は依然として有効である。

実験結果

リサーチクエスチョン

• RQ1 符号反転に基づくノイズ分布は、不均一なノイズ下でのPCAにおけるランク選択に対して有効な統計的推論を提供できるか？
• RQ2 ノイズ分散が要素ごとに異なる状況下でも、有限標本においてFlipPAが第一種誤りの制御を維持できるか？
• RQ3 不均一なノイズ下において、FlipPAは古典的手法および最新の手法と比べて一貫性と正確性に優れているか？
• RQ4 なぜパーミュテーションベースのパラレル分析は不均一なノイズ下で劣化するのか？また、符号反転はこの問題をどのように解決するのか？
• RQ5 信号が不均一なノイズフロアを上回る場合、大次元極限においてFlipPAは真のランクを一貫して推定できるか？

主な発見

• FlipPAは漸近的でない第一種誤りの制御を達成しており、帰無仮説（すなわちランクの過剰推定）を誤って棄却する確率が有界である。
• 信号の固有値がノイズフロアを上回る場合、不均一なノイズ下でも大次元極限においてFlipPAは正しいランクを一貫して選択する。
• 古典的手法のパーミュテーションベースのパラレル分析は、不均一なノイズ下で失敗する。なぜならパーミュテーションはノイズ要素の周辺分布を保存しないからである。
• 数値シミュレーションの結果、FlipPAはユニバーサル固有値しきい値法（USVT）や他の最先端手法を上回り、ノイズの不均一性が高くなるほどその優位性が顕著になる。
• 10,052個のクェーサー分光スペクトルを含む天文学データセットにおいて、FlipPAは真の信号構造のランクを正しく同定した。一方、USVTはノイズ分散を過剰に推定し、ランクを過小推定した。
• この手法はさまざまな不均一性の程度に頑健であり、異なるノイズ分散プロファイルにおいても性能が安定している。