[論文レビュー] Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated

Namrata Vaswani, Han Guo|arXiv (Cornell University)|Aug 15, 2016

Spectroscopy and Chemometric Analyses被引用数 8

ひとこと要約

本稿では、データとノイズが相関する状況における主成分分析（PCA）のための新規フレームワーク、Correlated-PCA を提案する。実世界の応用で一般的なデータとノイズの相関下で、標準的な固有値分解（EVD）の理論的保証を確立し、標本複雑度が $f^2 r^2 \log n$ のスケーリングを示す。また、条件数 $f$ への依存を軽減するための一般化されたEVD、cluster-EVDを提案し、固有値がクラスタリングする高次元設定における性能向上を実現する。

ABSTRACT

Given a matrix of observed data, Principal Components Analysis (PCA) computes a small number of orthogonal directions that contain most of its variability. Provably accurate solutions for PCA have been in use for a long time. However, to the best of our knowledge, all existing theoretical guarantees for it assume that the data and the corrupting noise are mutually independent, or at least uncorrelated. This is valid in practice often, but not always. In this paper, we study the PCA problem in the setting where the data and noise can be correlated. Such noise is often also referred to as "data-dependent noise". We obtain a correctness result for the standard eigenvalue decomposition (EVD) based solution to PCA under simple assumptions on the data-noise correlation. We also develop and analyze a generalization of EVD, cluster-EVD, that improves upon EVD in certain regimes.

研究の動機と目的

• データとノイズの相関がある場合のPCAにおける理論的保証のギャップを埋めること。これは実世界のデータで一般的な状況だが、先行研究では無視されがちである。
• データ-ノイズ相関下での標準的EVDの標本複雑度の境界を確立し、条件数 $f$ とランク $r$ への依存を示すこと。
• 固有値クラスタリングの仮定の下で、$f^2$ への依存を弱める一般化されたEVD手法、cluster-EVDの開発と分析を行うこと。
• 動的システムにおけるロバストPCAの理論的基盤を提供すること。特に、データに依存するノイズが自然に生じる ReProCS フレームワーク内での応用を想定する。

提案手法

• 観測データ $\bm{y}_t = \bm{\ell}_t + \bm{M}_t\bm{\ell}_t$ を想定するモデルを提案。ここで $\bm{\ell}_t$ は低ランク部分空間上に存在し、$\bm{M}_t$ はデータに依存するノイズをモデル化する。
• 投影係数 $\bm{a}_t$ の有界性とノイズ相関行列 $\bm{M}_t$ の構造に関する仮定を導入。具体的には $\|\bm{M}_{1,t}\bm{P}\| \leq q < 1$ およびスペクトルノルム制約を含む。
• 観測データの標本共分散行列に対する標準的EVDの分析を行い、相関するノイズ下での部分空間誤差境界を導出する。
• 固有値をクラスタにグループ化し、修正された分解を用いることでロバスト性を向上させる、EVDの一般化手法である cluster-EVD を開発する。
• 集中不等式と行列摂動理論（例：Weylの不等式）を用いて、部分空間誤差の境界を導出し、高確率保証を得る。
• 再帰的誤差分解フレームワークを採用し、現在の、検出済みの、未検出の成分に誤差を分離して、誤差伝搬を分析する。

実験結果

リサーチクエスチョン

• RQ1 データに依存するノイズは、PCAにおける標準的EVDの性能にどのように影響を与えるか。また、このような相関下でどのような理論的保証を確立できるか。
• RQ2 データとノイズが相関する場合のPCAにおける標準的EVDの標本複雑度は何か。条件数 $f$ とランク $r$ に対してどのようにスケーリングされるか。
• RQ3 一般化されたEVD手法は、相関するPCAにおいて条件数 $f$ への依存を軽減できるか。どのような構造的仮定の下で性能が向上するか。
• RQ4 固有値クラスタリングの下で、cluster-EVDは標準的EVDと比較して部分空間誤差とロバスト性においてどのように異なるか。
• RQ5 固有値クラスタリングは、相関するノイズ下でのPCAの理論的および実用的性能向上にどのように寄与するか。

主な発見

• 相関するPCAにおける標準的EVDの標本複雑度は $f^2 r^2 \log n$ のスケーリングを示し、条件数 $f$ に対して問題的な2次依存があることが判明した。
• 固有値クラスタリングの仮定の下で、cluster-EVDは $f$ への依存を弱め、$f^2$ スケーリングを緩和し、高次元設定における性能を向上させる。
• 高確率（$1 - 12n^{-10}$）で、推定基底 $\hat{\bm{P}}$ の部分空間誤差は $r\zeta$ で有界であることが示された。ここで $\zeta$ は誤差レベルを制御する。
• 分析により、部分空間推定の誤差はノイズ強度とデータ構造の積によって支配され、行列集中と摂動理論を用いて境界が導出された。
• 固有値がクラスタリングする場合、cluster-EVDは標準的EVDよりもより良い誤差境界を達成し、特に大きな条件数に対して感受性が低下する。
• 再帰的誤差分解により理論的境界が検証され、誤差伝搬を制御するため、現在の、検出済みの、未検出の成分に誤差を分離した。