[논문 리뷰] Sketched SVD: Recovering Spectral Features from Compressive Measurements

Anna C. Gilbert, Jae Young Park외 1명|arXiv (Cornell University)|2012. 11. 02.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 55

한 줄 요약

이 논문은 대규모 저질서 데이터 행렬의 특이값과 우측 특이벡터를 분산된 자원 제약이 있는 센서로부터 효율적으로 복원하기 위해 Johnson-Lindenstrauss 변환을 통한 압축 측정치를 사용하는 스트리밍 알고리즘인 Sketched SVD를 제안한다. 각 열당 m = O(kε⁻²(log(1/ε) + log(1/δ))) 측정치를 사용할 경우, 상당한 확률로 (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ² 이며 벡터 오차가 작아지며, 그래프 라플라시안과 같은 거대한 스트리밍 데이터의 스펙트럼 분석이 가능하다.

ABSTRACT

We consider a streaming data model in which n sensors observe individual streams of data, presented in a turnstile model. Our goal is to analyze the singular value decomposition (SVD) of the matrix of data defined implicitly by the stream of updates. Each column i of the data matrix is given by the stream of updates seen at sensor i. Our approach is to sketch each column of the matrix, forming a "sketch matrix" Y, and then to compute the SVD of the sketch matrix. We show that the singular values and right singular vectors of Y are close to those of X, with small relative error. We also believe that this bound is of independent interest in non-streaming and non-distributed data collection settings. Assuming that the data matrix X is of size Nxn, then with m linear measurements of each column of X, we obtain a smaller matrix Y with dimensions mxn. If m = O(k ε^{-2} (log(1/ε) + log(1/δ)), where k denotes the rank of X, then with probability at least 1-δ, the singular values σ'_j of Y satisfy the following relative error result (1-ε)^(1/2)<= σ'_j/σ_j <= (1 + ε)^(1/2) as compared to the singular values σ_j of the original matrix X. Furthermore, the right singular vectors v'_j of Y satisfy ||v_j-v_j'||_2 <= min(sqrt{2}, (ε\sqrt{1+ε})/(\sqrt{1-ε}) max_{i eq j} (\sqrt{2}σ_iσ_j)/(min_{c\in[-1,1]}(|σ^2_i-σ^2_j(1+cε)|))) as compared to the right singular vectors v_j of X. We apply this result to obtain a streaming graph algorithm to approximate the eigenvalues and eigenvectors of the graph Laplacian in the case where the graph has low rank (many connected components).

연구 동기 및 목표

• 전체 저장이 불가능한 대규모, 분산 또는 스트리밍 환경에서의 스펙트럼 분석(SVD/고유분해) 문제를 해결하는 것.
• 센서가 원본 데이터를 저장하거나 전송하지 않고도 지역적으로 데이터를 압축할 수 있는 통신 효율적이고 선형이며 비적응형 스케칭 기법을 설계하는 것.
• 원본 데이터를 저장하거나 전송하지 않고도 데이터 행렬 X의 특이값과 우측 특이벡터를 정확하게 복원할 수 있도록 하는 것.
• 스케칭 프레임워크 하에서 특이값의 상대 오차와 특이벡터의 각도 오차에 대한 이론적 보장을 제공하는 것.
• 특히 고립된 성격이 강한 네트워크(예: 다수의 연결 성분을 가진 네트워크)에서 저질서 그래프의 그래프 라플라시안의 고유값과 고유벡터를 근사하기 위해 이 방법을 적용하는 것.

제안 방법

• 분포적 Johnson-Lindenstrauss(JL) 성질을 만족하는 분포에서 유도된 무작위 m×N 측정 행렬 Φ를 사용하여 데이터 행렬 X의 각 열을 스케칭한다.
• 스케치 행렬 Y = ΦX를 유지하며, 여기서 각 열 yⱼ는 j번째 데이터 벡터 xⱼ의 압축된 형태이며, turnstile 스트리밍 모델에서 순차적으로 업데이트된다.
• 스케치 행렬 Y = UΣ'Vᵀ의 SVD를 계산하여 원래 행렬 X의 특이값 σ′ⱼ와 우측 특이벡터 v′ⱼ를 추정한다.
• 측도 집중 이론과 JL 임bedding 이론을 활용하여 특이값의 상대 오차와 진짜 우측 특이벡터 vⱼ와 추정된 벡터 v′ⱼ 사이의 ℓ² 거리에 대한 상한을 도출한다.
• 그래프 데이터에 이 프레임워크를 적용하기 위해 그래프 G의 인cidenc 행렬 X를 데이터 행렬로 모델링하여 그래프 라플라시안 L_G의 스펙트럼 근사를 가능하게 한다.
• Y의 제곱 특이값을 사용하여 L_G의 고유값 λ′ⱼ를 추정하고, Y의 우측 특이벡터를 사용하여 L_G의 고유벡터 v′ⱼ를 추정한다.

실험 결과

연구 질문

• RQ1 원본 데이터를 저장하지 않고도 각 데이터 열에 대해 소수의 압축 선형 측정치만을 사용하여 대규모 저질서 데이터 행렬의 스펙트럼 특징(특이값 및 우측 특이벡터)을 복원할 수 있는가?
• RQ2 스케치 행렬 Y의 특이값과 우측 특이벡터가 원본 행렬 X의 것들과 높은 확률로 유사하도록 보장하기 위해 필요한 열당 최소 측정치 수 m는 얼마인가?
• RQ3 추정된 특이값과 특이벡터의 오차는 특이값 갭과 왜곡 매개변수 ε에 어떻게 의존하는가?
• RQ4 이 스케칭 프레임워크는 스트리밍 그래프 데이터에 효과적으로 적용되어 그래프 라플라시안의 고유값과 고유벡터를 근사할 수 있는가?
• RQ5 그래프가 저질서인 경우(예: 많은 연결 성분을 가진 경우) 그래프 라플라시안의 추정된 고유값과 고유벡터에 대한 이론적 오차 한계는 무엇인가?

주요 결과

• 각 열당 m = O(kε⁻²(log(1/ε) + log(1/δ))) 측정치를 사용할 경우, 스케치 행렬 Y의 특이값 σ′ⱼ는 확률 1−δ 이상로 (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ² 를 만족한다.
• X의 진짜 우측 특이벡터 vⱼ와 Y의 추정된 벡터 v′ⱼ 사이의 ℓ² 오차는 min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2σᵢσⱼ / min_{c∈[−1,1]} |σ²ᵢ − σ²ⱼ(1+cε)|)} 으로 상한이 제시된다.
• 스트리밍 그래프 데이터의 경우, 방법은 그래프 라플라시안 L_G의 고유값 λ′ⱼ를 1−ε ≤ λ′ⱼ/λⱼ ≤ 1+ε 로 근사한다. 이는 높은 확률로 성립한다.
• L_G의 고유벡터 v′ⱼ는 ℓ² 오차가 min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2λᵢ¹ᐟ²λⱼ¹ᐟ² / min_{c∈[−1,1]} |λᵢ − λⱼ(1+cε)|)} 으로 상한이 제시된다.
• 이 프레임워크는 특히 많은 연결 성분을 가진 저질서 그래프에서 매우 효과적이며, 이 경우 스케치 크기 m이 인cidenc 행렬의 크기보다 크게 작아진다.
• 이 방법은 turnstile 스트리밍 모델에서 효율적인 순차적 업데이트를 지원하여 통신 및 저장 오버헤드를 최소화하면서 실시간 스펙트럼 분석이 가능하다.