[論文レビュー] How to reduce dimension with PCA and random projections?

Fan Yang, Sifan Liu+2 more|arXiv (Cornell University)|May 1, 2020

Sparse and Compressive Sensing Techniques参考文献 93被引用数 8

ひとこと要約

本稿は、ランダムプロジェクション（スケッチ）とPCAを組み合わせた「スケッチして解く」次元削減手法を研究し、i.i.d. プロジェクション、部分的ハダマード変換、カウントスケッチといった異なるスケッチ手法が、低ランクの信号＋ノイズモデルにおけるPCAの精度にどのように影響するかを分析している。漸近的に正確な結果を提示しており、直交スケッチが信号構造をよりよく保持すること、および正規化がカウントスケッチの性能を向上させることを示しており、信号がノイズレベルに僅かに上回る場合でも、スケッチ次元が十分に大きい限り有効である。

ABSTRACT

In our "big data" age, the size and complexity of data is steadily increasing. Methods for dimension reduction are ever more popular and useful. Two distinct types of dimension reduction are "data-oblivious" methods such as random projections and sketching, and "data-aware" methods such as principal component analysis (PCA). Both have their strengths, such as speed for random projections, and data-adaptivity for PCA. In this work, we study how to combine them to get the best of both. We study "sketch and solve" methods that take a random projection (or sketch) first, and compute PCA after. We compute the performance of several popular sketching methods (random iid projections, random sampling, subsampled Hadamard transform, count sketch, etc) in a general "signal-plus-noise" (or spiked) data model. Compared to well-known works, our results (1) give asymptotically exact results, and (2) apply when the signal components are only slightly above the noise, but the projection dimension is non-negligible. We also study stronger signals allowing more general covariance structures. We find that (a) signal strength decreases under projection in a delicate way depending on the structure of the data and the sketching method, (b) orthogonal projections are more accurate, (c) randomization does not hurt too much, due to concentration of measure, (d) count sketch can be improved by a normalization method. Our results have implications for statistical learning and data analysis. We also illustrate that the results are highly accurate in simulations and in analyzing empirical data.

研究の動機と目的

• 高次元データにおけるPCAの前段階でランダムプロジェクションを適用する「スケッチして解く」手法の性能を理解すること。
• i.i.d. プロジェクション、ランダムサンプリング、部分的ハダマード変換、カウントスケッチといった異なるスケッチ手法が、後続のPCAの精度にどのように影響するかを特定すること。
• 信号固有値がノイズレベルに僅かに上回る場合でさえも成立する、スパイク共分散モデルにおける信号回復の漸近的正確な結果を導出すること。
• ランダム化がPCA性能を低下させない条件を同定し、測度集中の法則を活用すること。
• スケッチ・アンド・ソルブパイプラインにおけるカウントスケッチの精度を向上させる正規化手法の提案と分析。

提案手法

• スケッチ・アンド・ソルブパイプラインを分析：データYにスケッチ行列Sを適用してSYを形成し、その後SYに対してPCAを実行する。
• 低ランクの信号行列とi.i.d. ノイズから成る一般化された「スパイク」共分散モデルを採用する。
• 特異値および特異ベクトルのスケッチ後の挙動を解析するため、ランダム行列理論の道具（局所法則、等方的局所法則など）を用いる。
• 5種類のスケッチ手法を検討：一様直交プロジェクション、i.i.d. ガウスプロジェクション、符号を伴うランダムサンプリング、部分的ハダマード変換、カウントスケッチ。
• SYの主要特異ベクトルがYの主要特異ベクトルに確率的に収束する条件を、確率的収束および2次モーメント解析を用いて確立する。
• カウントスケッチの分散を低減し、漸近的状態における信号回復を向上させる正規化手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 異なるスケッチ手法を適用した後、主成分分析の主要な主成分における信号強度はどのように変化するか？
• RQ2 信号がノイズに対して弱い場合でも、元のデータの主成分を保持するスケッチ手法の条件は何か？
• RQ3 スケッチ手法の選択（例：直交 vs. i.i.d.）が、スケッチ・アンド・ソルブパイプラインにおけるPCAの精度にどのように影響するか？
• RQ4 正規化によってカウントスケッチを改善し、低信号状態における信号回復を向上させることは可能か？
• RQ5 スケッチにおけるランダム化がPCA性能をどの程度低下させるか、また測度集中の法則が安定性を保証する条件は何か？

主な発見

• 一様ランダムプロジェクションや部分的ハダマード変換といった直交スケッチ手法は、i.i.d. プロジェクションのような非直交手法よりも、信号構造をより正確に保持する。
• 信号強度は、データ構造とスケッチ手法に依存して低下するが、直交スケッチがこの低下を最小限に抑える。
• 測度集中の法則のおかげで、ランダム化はPCA性能を著しく損なわない。特に、スケッチ次元が信号強度に対して十分に大きい場合に顕著である。
• 正規化によりカウントスケッチの性能が向上し、分散が低減され、低信号状態における信号回復が向上する。
• 理論的結果は漸近的に正確であり、信号固有値がノイズレベルに限りなく近い場合でも、スケッチ次元が十分に大きい限り成立する。
• シミュレーションおよび実データ解析により、理論的予測が実際の状況でも極めて正確であることが確認された。