[논문 리뷰] Correlated-PCA: Principal Components' Analysis when Data and Noise are Correlated

Namrata Vaswani, Han Guo|arXiv (Cornell University)|2016. 08. 15.

Spectroscopy and Chemometric Analyses인용 수 8

한 줄 요약

이 논문은 데이터와 노이즈가 상관관계가 있을 때 주성분 분석(PCA)을 위한 새로운 프레임워크인 Correlated-PCA를 제안한다. 데이터-노이즈 상관관계 하에서 표준 고유값 분해(EVD)의 이론적 보장을 수립하며, 표본 복잡도가 $f^2 r^2 \log n$ 스케일링을 보임을 보여주고, 조건수 $f$ 의 의존도를 줄이는 데 목적이 있는 일반화된 EVD인 cluster-EVD를 제안한다. 이는 고차원 설정에서 고유값이 군집되어 있을 경우 성능을 향상시킨다.

ABSTRACT

Given a matrix of observed data, Principal Components Analysis (PCA) computes a small number of orthogonal directions that contain most of its variability. Provably accurate solutions for PCA have been in use for a long time. However, to the best of our knowledge, all existing theoretical guarantees for it assume that the data and the corrupting noise are mutually independent, or at least uncorrelated. This is valid in practice often, but not always. In this paper, we study the PCA problem in the setting where the data and noise can be correlated. Such noise is often also referred to as "data-dependent noise". We obtain a correctness result for the standard eigenvalue decomposition (EVD) based solution to PCA under simple assumptions on the data-noise correlation. We also develop and analyze a generalization of EVD, cluster-EVD, that improves upon EVD in certain regimes.

연구 동기 및 목표

• 실제 데이터에서 흔한 데이터-노이즈 상관관계 상황에서 PCA에 대한 이론적 보장이 부족한 점을 보완하고자 한다. 이는 이전 연구에서 간과된 분야이다.
• 데이터-노이즈 상관관계 하에서 표준 EVD의 표본 복잡도 한계를 수립하며, 조건수 $f$ 와 질량 $r$ 에 대한 의존도를 밝혀내고자 한다.
• 고유값 군집 가정 하에서 조건수 $f$ 에 대한 의존도를 약화시키는 일반화된 EVD 방법인 cluster-EVD를 개발하고 분석하고자 한다.
• 특히 데이터 의존적 노이즈가 자연스럽게 발생하는 ReProCS 프레임워크 내에서 동적 시스템에 대한 강건한 PCA의 이론적 기초를 마련하고자 한다.

제안 방법

• 관측된 데이터 $\bm{y}_t = \bm{\ell}_t + \bm{M}_t\bm{\ell}_t$ 를 모델링하며, $\bm{\ell}_t$ 는 저차원 부분공간에 존재하고 $\bm{M}_t$ 는 데이터 의존적 노이즈를 모델링한다.
• 투영 계수 $\bm{a}_t$ 의 유계성과 노이즈 상관관계 행렬 $\bm{M}_t$ 의 구조에 대한 가정을 도입하며, $\|\bm{M}_{1,t}\bm{P}\| \leq q < 1$ 과 스펙트럴 노름 제약 조건을 포함한다.
• 관측된 데이터의 경험 공분산 행렬에 표준 EVD를 적용하고, 상관관계가 있는 노이즈 하에서 부분공간 오차 한계를 유도한다.
• 고유값을 군집으로 묶고 수정된 분해를 사용하여 강건성을 향상시키는 일반화된 EVD인 cluster-EVD를 개발한다.
• 집중 부등식과 행렬 섭동 이론(예: Weyl의 부등식)을 사용하여 부분공간 오차를 바ounds하고 고확률 보장을 유도한다.
• 재귀적 오차 분해 프레임워크를 활용하여 현재, 검출된, 검출되지 않은 구성요소를 분리하여 오차 전파를 분석한다.

실험 결과

연구 질문

• RQ1 데이터 의존적 노이즈는 표준 EVD의 성능에 어떻게 영향을 미치며, 이러한 상관관계 하에서 어떤 이론적 보장을 수립할 수 있는가?
• RQ2 데이터와 노이즈가 상관관계가 있을 때 표준 EVD의 표본 복잡도는 어떻게 되며, 조건수 $f$ 와 질량 $r$ 에 따라 어떻게 스케일링되는가?
• RQ3 일반화된 EVD 방법은 조건수 $f$ 에 대한 의존도를 줄일 수 있는가? 어떤 구조적 가정 하에서 성능 향상이 이루어지는가?
• RQ4 고유값 군집화 조건 하에서 cluster-EVD는 표준 EVD와 비교해 부분공간 오차와 강건성 측면에서 어떻게 다를까?
• RQ5 고유값 군집화는 상관관계가 있는 노이즈 하에서 PCA의 이론적 및 실용적 성능 향상에 어떤 역할을 하는가?

주요 결과

• Correlated-PCA에서 표준 EVD의 표본 복잡도는 $f^2 r^2 \log n$ 스케일링을 보이며, 이는 조건수 $f$ 에 대해 문제가 되는 제곱형 의존도를 나타낸다.
• 고유값 군집 가정 하에서 cluster-EVD는 $f$ 에 대한 의존도를 약화시켜 $f^2$ 스케일링을 줄이며, 고차원 설정에서 성능을 향상시킨다.
• 고확률($1 - 12n^{-10}$) 하에서 추정된 기저 $\hat{\bm{P}}$ 의 부분공간 오차는 $r\zeta$ 로 바ounds되며, $\zeta$ 는 오차 수준을 제어한다.
• 분석 결과, 부분공간 추정 오차는 노이즈 강도와 데이터 구조의 곱에 의해 지배되며, 행렬 집중 및 섭동 이론을 통해 유도된 바ounds를 제공한다.
• 고유값이 군집되어 있을 경우, cluster-EVD 방법은 표준 EVD보다 더 나은 오차 바ounds를 달성하며, 특히 큰 조건수에 대한 민감도를 감소시킨다.
• 이론적 바ounds는 재귀적 오차 분해를 통해 검증되었으며, 현재, 검출된, 검출되지 않은 구성요소를 분리하여 오차 전파를 제어한다.