[논문 리뷰] On Approximating Functions of the Singular Values in a Stream

Yi Li, David P. Woodruff|arXiv (Cornell University)|2016. 04. 29.

Complexity and Algorithms in Graphs참고 문헌 44인용 수 8

한 줄 요약

이 논문은 데이터 스트림에서 n×n 행렬의 p차 슈체텐 p노름의 p제곱을 근사하는 데 필요한 공간 복잡도의 날카운 경계를 확립한다. 비짝수 정수 p에 대해선 (1+ε)-근사에 대해 Ω(n^{1−g(ε)}) 공간이 필요하며, 짝수 정수 p에 대해선 O(n^{1−2/p} poly(ε⁻¹ log n)) 공간으로 충분하다. 이 결과들은 슈체텐 노름, 치-판 노름, SVD 엔트로피, 고유값 수축기, M-추정기의 공간 복잡도를 해결하며, 이전의 하한을 크게 향상시킨다.

ABSTRACT

For any real number $p > 0$, we nearly completely characterize the space complexity of estimating $\|A\|_p^p = \sum_{i=1}^n σ_i^p$ for $n imes n$ matrices $A$ in which each row and each column has $O(1)$ non-zero entries and whose entries are presented one at a time in a data stream model. Here the $σ_i$ are the singular values of $A$, and when $p \geq 1$, $\|A\|_p^p$ is the $p$-th power of the Schatten $p$-norm. We show that when $p$ is not an even integer, to obtain a $(1+ε)$-approximation to $\|A\|_p^p$ with constant probability, any $1$-pass algorithm requires $n^{1-g(ε)}$ bits of space, where $g(ε) ightarrow 0$ as $ε ightarrow 0$ and $ε> 0$ is a constant independent of $n$. However, when $p$ is an even integer, we give an upper bound of $n^{1-2/p} extrm{poly}(ε^{-1}\log n)$ bits of space, which holds even in the turnstile data stream model. The latter is optimal up to $ extrm{poly}(ε^{-1} \log n)$ factors. Our results considerably strengthen lower bounds in previous work for arbitrary (not necessarily sparse) matrices $A$: the previous best lower bound was $Ω(\log n)$ for $p\in (0,1)$, $Ω(n^{1/p-1/2}/\log n)$ for $p\in [1,2)$ and $Ω(n^{1-2/p})$ for $p\in (2,\infty)$. We note for $p \in (2, \infty)$, while our lower bound for even integers is the same, for other $p$ in this range our lower bound is $n^{1-g(ε)}$, which is considerably stronger than the previous $n^{1-2/p}$ for small enough constant $ε> 0$. We obtain similar near-linear lower bounds for Ky-Fan norms, SVD entropy, eigenvalue shrinkers, and M-estimators, many of which could have been solvable in logarithmic space prior to our work.

연구 동기 및 목표

• 스parse 행렬에 대해 데이터 스트림에서 ‖A‖_p^p = ∑σ_i^p 를 추정하는 데 필요한 공간 복잡도를 규명하는 것.
• 스트리밍 모델에서 슈체텐 p노름 추정에 대해 알려진 하한과 상한 사이의 격차를 해결하는 것.
• 키-판 노름, SVD 엔트로피, 고유값 수축기, M-추정기와 같은 관련 행렬 함수로 공간 복잡도 결과를 확장하는 것.
• 비짝수 정수 p에 대해선 어떤 1패ass 알고리즘도 ε→0일 때 g(ε)→0인 n^{1−g(ε)} 공간이 필요하다는 것을 보여주는 것.
• 짝수 정수 p에 대해선 O(n^{1−2/p} poly(ε⁻¹ log n)) 공간으로 충분하며, 이는 알려진 하한과 다항로그 인자 이내로 일치한다는 것을 보여주는 것.

제안 방법

• 저자들은 1패스 데이터 스트림 모델에서 행과 열당 O(1)개의 비영원소를 가진 행렬에 대해 ∑σ_i^p 를 추정하는 데 필요한 공간 복잡도를 분석한다.
• 비짝수 정수 p에 대해선 새로운 하한 n^{1−g(ε)} 비트를 도출하며, 축소 및 함수 성장과 특이값 행동 분석을 통해 이를 도출한다.
• 짝수 정수 p에 대해선 선형 스케치와 모멘트 추정 기법을 사용한 공간 효율적인 알고리즘을 제시하며, 이는 턴스타일 모델에서 유효하다.
• 이 방법은 제어된 특이값을 가진 행렬의 어려운 사례를 구성하고, 엔트리 업데이트에 대한 p제곱 슈체텐 노름의 민감도를 분석하는 데 포함된다.
• 로그(r(k))의 테일러 전개 계수를 유계화하기 위해 생성함수와 카탈란 수 및 초함수의 점근적 분석을 사용한다.
• 직교 다항식의 성질과 초함수의 적분 표현을 활용하여 급수 전개의 핵심 항들의 부호 및 크기 제어를 확립한다.

실험 결과

연구 질문

• RQ1 1패스 스트림에서 행렬의 슈체텐 p노름의 p제곱을 추정하는 데 최적의 공간 복잡도는 무엇인가?
• RQ2 공간 복잡도는 p가 짝수 정수이냐 아니면 그렇지 않느냐에 따라 어떻게 달라지는가?
• RQ3 비짝수 정수 p에 대해 이전 하한을 초월해 슈체텐 p노름의 공간 복잡도를 향상시킬 수 있는가?
• RQ4 키-판 노름, SVD 엔트로피, 고유값 수축기, M-추정기는 스트리밍 모델에서 모두 거의 선형 공간이 필요한가?
• RQ5 턴스타일 모델에서 짝수 정수 p에 대해 가능한 가장 날카운 상한은 무엇인가?

주요 결과

• 비짝수 정수 p에 대해선 어떤 1패스 알고리즘도 (1+ε)-근사에 대해 ε→0일 때 g(ε)→0인 n^{1−g(ε)} 공간이 필요하다.
• 짝수 정수 p에 대해선 O(n^{1−2/p} poly(ε⁻¹ log n)) 공간의 상한이 달성되었으며, 이는 다항로그 인자 이내로 최적이다.
• 비짝수 p에 대한 하한은 이전의 하한보다 훨씬 강력하며, 특히 p>2 이고 ε가 작은 경우 두드러진다.
• 결과는 키-판 노름, SVD 엔트로피, 고유값 수축기, M-추정기로까지 확장되며, 이 모든 것들이 스트리밍 모델에서 거의 선형 공간이 필요하다.
• 논문은 희박 행렬 설정에서 슈체텐 p노름의 공간 복잡도를 해결하며, p와 공간 사이의 상호관계를 거의 완전히 규명한다.
• 분석 결과 G₁ + G₂ ≠ 0 임을 확인하여, 점근 전개에서 핵심 항들의 비영 기여가 있음을 입증하며, 이는 하한을 증명하는 데 필수적이다.