[論文レビュー] Principal component analysis for big data

Jianqing Fan, Qiang Sun+2 more|arXiv (Cornell University)|Jan 5, 2018

Face and Expression Recognition参考文献 74被引用数 17

ひとこと要約

この論文は、ビッグデータにおける主成分分析（PCA）の最近の進展をレビューし、理論的基盤、外れ値や高次元性に対するロバスト性、および機械学習と統計的推論への応用に焦点を当てる。PCAは次元削減、要因モデル、非線形多様体学習のコアツールとして提示され、摂動解析と分散共分散推定を用いた理論的保証が与えられる。

ABSTRACT

Big data is transforming our world, revolutionizing operations and analytics everywhere, from financial engineering to biomedical sciences. The complexity of big data often makes dimension reduction techniques necessary before conducting statistical inference. Principal component analysis, commonly referred to as PCA, has become an essential tool for multivariate data analysis and unsupervised dimension reduction, the goal of which is to find a lower dimensional subspace that captures most of the variation in the dataset. This article provides an overview of methodological and theoretical developments of PCA over the last decade, with focus on its applications to big data analytics. We first review the mathematical formulation of PCA and its theoretical development from the view point of perturbation analysis. We then briefly discuss the relationship between PCA and factor analysis as well as its applications to large covariance estimation and multiple testing. PCA also finds important applications in many modern machine learning problems, and we focus on community detection, ranking, mixture model and manifold learning in this paper.

研究の動機と目的

• 過去10年間におけるビッグデータ分析の文脈でのPCAの進化と理論的発展を包括的に概説すること。
• 高次元性、汚染、非線形性、分散化といったビッグデータが引き起こす課題に対処すること。
• 因子分析、分散共分散推定、多重仮説検定などの関連手法とのPCAの関係を明らかにすること。
• コミュニティ検出、順位付け、混合モデル、多様体学習などの現代の機械学習忆用におけるPCAの役割を検討すること。
• 行列摂動理論とロバスト推定技術を用いて、統計的推論のための理論的基盤を確立すること。

提案手法

• PCAを、分散共分散行列 Σ の上位K個の固有ベクトルを求めるものとして定式化し、データを最も分散を保つ低次元部分空間に射影する。
• 行列摂動理論、特にDavisとKahan、Wedinのsin Θ定理を用いて、スペクトルギャップの条件下で固有値および固有ベクトルの誤差を上限付ける。
• 重い尾を持つまたは汚染されたデータに対処するため、標本分散共分散行列をロバスト推定器に置き換えることでロバストPCAを導入する。
• スペクトル法を用いて、機械学習における非凸最適化問題（例：コミュニティ検出、行列補完）を凸的類似の部分問題に還元する。
• 古典的および一般化された多次元尺度構成法（MDS）を用い、二重中心化された類似度行列の固有分解により、データを低次元ユークリッド空間に埋め込む。
• 多様体学習（例：LLE、ISOMAP）において、局所PCAとアフィニティ行列を活用し、局所的な幾何構造を保ちながら非線形次元削減を実現する。

実験結果

リサーチクエスチョン

• RQ1 PCAは、高次元、大規模、汚染されたビッグデータを扱うために、どのように理論的に正当化され拡張可能か？
• RQ2 弱い信号条件下および非ガウス型ノイズ下での標本主成分の統計的性質は何か？
• RQ3 高次元設定においてPCAは因子分析や大規模分散共分散推定とどのように関係するか？
• RQ4 PCAは、多様体や混合モデルなどの非線形データ構造にどのように適合可能か？
• RQ5 分散型または分散環境におけるPCAベースのアルゴリズムの理論的性能保証は何か？

主な発見

• 行列摂動理論により、スペクトルギャップの条件下で、標本分散共分散行列 bΣ の主成分が真の分散共分散行列 Σ の主成分に収束することが、厳密な誤差バインドを用いて保証される。
• M推定量や中央値に基づく手法によるロバスト分散共分散推定器を用いることで得られるロバストPCAは、重い尾を持つまたは外れ値で汚染されたデータ下で、著しく性能が向上する。
• 分散環境においてPCAベースの手法は強い統計的保証を達成し、Fanら（2017）のアルゴリズムは複数のデータセンターで一貫性と近似的最適な誤差率を示す。
• 多様体学習においてPCAは、LLE や ISOMAP などのアルゴリズムの基盤的ステップとして用いられ、アフィニティ行列の固有分解により非線形データ構造の局所的およびグローバルな埋め込みを可能にする。
• WuとWu（2017）によるLLEの理論的分析は、漸近的一貫性を示し、従来の実験的性能に依存していたものの、非線形次元削減への適用を正当化する。
• PCAは、複数の仮説検定や因子モデルなどの高次元推論問題において有効であることが示され、ゲノム研究やファイナンス分野での応用において、次元削減を実現しながら信号を保持し、後続の分析に適した状態を維持する。