[논문 리뷰] How to reduce dimension with PCA and random projections?

Fan Yang, Sifan Liu외 2명|arXiv (Cornell University)|2020. 05. 01.

Sparse and Compressive Sensing Techniques참고 문헌 93인용 수 8

한 줄 요약

이 논문은 고차원 데이터에서 PCA 이전에 무작위 투영(스케칭)을 적용하는 '스케치하고 풀기'(sketch and solve) 차원 축소 방법을 연구한다. 낮은 질서의 신호-노이즈 모델에서 i.i.d. 투영, 부분 허다드 변환, 카운트 스케칭과 같은 다양한 스케칭 기법이 PCA 정확도에 미치는 영향을 분석한다. 점점 정확도가 높아지는 점근적 결과를 제시하여, 직교 스케칭 기법이 신호 구조를 더 잘 유지하며, 정규화가 카운트 스케칭 성능을 향상시킨다. 이는 신호가 노이즈 수준보다 약간만 높아도 스케칭 차원이 충분히 크다면 성립한다.

ABSTRACT

In our "big data" age, the size and complexity of data is steadily increasing. Methods for dimension reduction are ever more popular and useful. Two distinct types of dimension reduction are "data-oblivious" methods such as random projections and sketching, and "data-aware" methods such as principal component analysis (PCA). Both have their strengths, such as speed for random projections, and data-adaptivity for PCA. In this work, we study how to combine them to get the best of both. We study "sketch and solve" methods that take a random projection (or sketch) first, and compute PCA after. We compute the performance of several popular sketching methods (random iid projections, random sampling, subsampled Hadamard transform, count sketch, etc) in a general "signal-plus-noise" (or spiked) data model. Compared to well-known works, our results (1) give asymptotically exact results, and (2) apply when the signal components are only slightly above the noise, but the projection dimension is non-negligible. We also study stronger signals allowing more general covariance structures. We find that (a) signal strength decreases under projection in a delicate way depending on the structure of the data and the sketching method, (b) orthogonal projections are more accurate, (c) randomization does not hurt too much, due to concentration of measure, (d) count sketch can be improved by a normalization method. Our results have implications for statistical learning and data analysis. We also illustrate that the results are highly accurate in simulations and in analyzing empirical data.

연구 동기 및 목표

• 고차원 데이터에서 무작위 투영을 PCA 이전에 적용하는 '스케치하고 풀기' 방법의 성능을 이해하는 것.
• i.i.d. 투영, 무작위 샘플링, 부분 허다드 변환, 카운트 스케칭과 같은 다양한 스케칭 기법이 후속 PCA의 정확도에 미치는 영향을 규명하는 것.
• 신호 고유값이 노이즈 수준보다 약간만 높은 경우에도 성립하는, 스파iked 공분산 모델에서의 신호 복원에 대해 점근적으로 정확한 결과를 도출하는 것.
• 무작위화가 PCA 성능을 떨어뜨리지 않는 조건을 특정하고, 측도 집중 현상을 활용하여 안정성을 보장하는 것.
• 스케치-풀 파ip라인에서 카운트 스케칭의 정확도를 향상시키는 데 기여하는 정규화 기법을 제안하고 분석하는 것.

제안 방법

• 스케치-풀 파이프라인을 분석: 데이터 Y에 스케치 행렬 S를 곱하여 SY를 생성한 후, SY에 대해 PCA를 수행한다.
• 저질서의 신호 행렬과 i.i.d. 노이즈로 구성된 일반적인 '스파iked' 공분산 모델을 적용한다.
• 무작위 행렬 이론의 도구, 특히 국소 법칙과 등방향 국소 법칙을 활용하여 스케칭 이후의 특이값과 특이벡터의 행동을 연구한다.
• 다섯 가지 스케칭 방법을 고려한다: 균일 직교 투영, i.i.d. 가우시안 투영, 부호가 있는 무작위 샘플링, 부분 허다드 변환, 카운트 스케칭.
• SY의 주요 특이벡터가 Y의 주요 특이벡터로 수렴하는 조건을 확률적 수렴과 두 번째 모멘트 분석을 통해 확립한다.
• 카운트 스케칭의 분산을 줄이고 점근적 영역에서 신호 복원 성능을 향상시키기 위해 정규화 방법을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 스케칭 기법을 적용한 후 주요 주성분에서의 신호 강도는 어떻게 변화하는가?
• RQ2 신호가 노이즈에 비해 약한 경우, 스케칭 기법이 원래 데이터의 주성분을 얼마나 잘 유지하는가?
• RQ3 스케칭 기법의 선택(예: 직교 대비 i.i.d.)이 스케치-풀 파이프라인에서 PCA 정확도에 어떤 영향을 미치는가?
• RQ4 정규화를 통해 카운트 스케칭을 개선하여 낮은 신호 영역에서 더 나은 신호 복원 성능을 달성할 수 있는가?
• RQ5 스케칭에서의 무작위화가 PCA 성능을 얼마나 떨어뜨리며, 측도 집중 현상이 안정성을 보장하는 조건은 무엇인가?

주요 결과

• 균일 무작위 투영 및 부분 허다드 변환과 같은 직교 스케칭 기법은 i.i.d. 투영과 같은 비직교 기법보다 더 정확하게 신호 구조를 유지한다.
• 스케칭에 의한 신호 강도 저하 정도는 데이터 구조와 스케칭 기법에 따라 달라지며, 특히 직교 스케칭이 이 저하를 최소화한다.
• 측도 집중 현상을 통해 무작위화가 PCA 성능을 크게 떨어뜨리지 않으며, 특히 스케칭 차원이 신호 강도에 비해 충분히 클 경우 더욱 그렇다.
• 정규화를 통해 카운트 스케칭의 성능을 향상시킬 수 있으며, 이는 분산을 줄이고 낮은 신호 영역에서의 신호 복원 성능을 향상시킨다.
• 이론적 결과는 점근적으로 정확하며, 신호 고유값이 노이즈 수준에 매우 가까워도 스케칭 차원이 충분히 크다면 성립한다.
• 시뮬레이션과 실데이터 분석을 통해 이론적 예측이 실생활에서 매우 정확하게 적용됨을 확인하였다.