[논문 리뷰] Schatten Norms in Matrix Streams: Hello Sparsity, Goodbye Dimension

Vladimir Braverman, Robert Krauthgamer외 2명|arXiv (Cornell University)|2019. 07. 11.

Complex Network Analysis Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 행 순서 모델에서 매트릭스 차원 $n$ 에 따라 달라지지 않는 공간 복잡도를 갖는 이중 희소 매트릭스의 슈타인 $p$-노름을 추정하기 위한 최초의 스트리밍 알고리즘을 제시한다. 이는 매트릭스 원소 위에서의 랜덤 워크를 활용한다. 주요 기여는 짝수 정수 $p$ 에 대해 차원에 독립적인 공간 복잡도 $\tilde{O}(\varepsilon^{-2}k^{p/2})$ 를 달성하는 것으로, 네트워크 분석 및 머신러닝과 같은 응용 분야에서 대규모 희소 매트릭스의 효율적인 스펙트럼 분석을 가능하게 한다.

ABSTRACT

Spectral functions of large matrices contains important structural information about the underlying data, and is thus becoming increasingly important. Many times, large matrices representing real-world data are \emph{sparse} or \emph{doubly sparse} (i.e., sparse in both rows and columns), and are accessed as a \emph{stream} of updates, typically organized in \emph{row-order}. In this setting, where space (memory) is the limiting resource, all known algorithms require space that is polynomial in the dimension of the matrix, even for sparse matrices. We address this challenge by providing the first algorithms whose space requirement is \emph{independent of the matrix dimension}, assuming the matrix is doubly-sparse and presented in row-order. Our algorithms approximate the Schatten $p$-norms, which we use in turn to approximate other spectral functions, such as logarithm of the determinant, trace of matrix inverse, and Estrada index. We validate these theoretical performance bounds by numerical experiments on real-world matrices representing social networks. We further prove that multiple passes are unavoidable in this setting, and show extensions of our primary technique, including a trade-off between space requirements and number of passes.

연구 동기 및 목표

• 메모리가 제한된 데이터 스트림 모델에서 대규모 희소 매트릭스의 스펙트럼 함수를 추정하는 데 도전하는 것.
• 기존 알고리즘이 희소 매트릭스일지라도 매트릭스 차원 $n$ 에 대해 다항식 공간 복잡도를 요구하는 한계를 극복하는 것.
• 공간 복잡도가 매트릭스 차원 $n$ 이 아니라 희소성 $k$ 와 근사 오차 $\varepsilon$ 에만 의존하는 스트리밍 알고리즘을 개발하는 것.
• 스펙트럼 함수의 핵심 요소인 행렬 역행렬의 트레이스, 행렬식의 로그, 에스트라다 지수를 근사하기 위해 접근법을 확장하는 것.
• 실제 사회망 및 협업 네트워크에서의 희소 매트릭스를 대상으로 한 수치 실험을 통해 알고리즘의 강건성과 실용적 효율성을 입증하는 것.

제안 방법

• 짝수 정수 $p$ 에 대해 스펙트럼 구조를 포착할 수 있도록 원소를 샘플링하는 방식으로, 랜덤 워크 기반 추정기를 사용하여 슈타인 $p$-노름을 근사한다.
• 행 순서 스트림 모델을 활용해 매트릭스를 사전순서로 처리함으로써 희소 원소를 효율적이고 상태 없는 방식으로 순회할 수 있도록 한다.
• 다중 패assing 알고리즘을 설계하여 패assing 간에 랜덤 워크를 재사용함으로써 공간 복잡도를 감소시키며, 패assing 수와 공간 간의 트레이드오프를 고려한다.
• 양의 준정부호 매트릭스의 경우 스펙트럼 분해와 모멘트 추정을 활용해 모든 정수 $p \geq 1$ 에 대해 방법을 확장한다.
• 독립적인 $t$ 개의 랜덤 워크 평균의 오차를 유한하게 제한하기 위해 농도 부등식을 적용하여 고확률로 $\varepsilon$-근사가 가능함을 보장한다.
• 슈타인 $p$-노름 추정기를 기반으로, 알려진 기능적 관계를 통해 다른 스펙트럼 함수를 근사하는 데 응용한다.

실험 결과

연구 질문

• RQ1 매트릭스 차원 $n$ 과 무관한 공간 복잡도를 갖는 단일 패assing 스트리밍 모델에서 이중 희소 매트릭스의 슈타인 $p$-노름을 추정할 수 있는가?
• RQ2 행 순서 스트림 모델에서 행렬 역행렬의 트레이스나 행렬식의 로그와 같은 스펙트럼 함수에 대해 차원에 독립적인 공간 복잡도를 달성할 수 있는가?
• RQ3 실제로 희소성 $k$ 와 노름 매개변수 $p$ 와의 관계에서 랜덤 워크의 수(공간)가 이론적 한계에 비해 어떻게 증가하는가?
• RQ4 매트릭스가 거의 희소한 경우에 작은 편향이나 노이즈가 있을 때 알고리즘이 강건하게 유지되는가?
• RQ5 희소 매트릭스의 슈타인 노름을 근사할 때 패assing 수와 공간 복잡도 사이의 트레이드오프는 어떠한가?

주요 결과

• 제안된 알고리즘은 이중 희소 매트릭스의 행 순서 모델에서 짝수 정수 $p$ 에 대해 매트릭스 차원 $n$ 과 무관하게 $\tilde{O}(\varepsilon^{-2}k^{p/2})$ 의 공간 복잡도를 달성한다.
• 아크시브 협업 네트워크에서의 수치 실험 결과, 이론적 상한 $O(\varepsilon^{-2}k^{p/2})$ 에 비해 실제 필요한 랜덤 워크 수가 수 개의 주기수만큼 작다.
• GR-QC 협업 네트워크($n=5242$)의 경우, 이론적 예측보다 훨씬 적은 수의 워크로 슈타인 6-노름을 $10\%$ 이내의 오차로 근사할 수 있었다.
• 작은 무작위 노이즈가 $1/5$의 원소에 적용되더라도 알고리즘이 강건성을 유지하며 정확도를 유지하여 거의 희소 매트릭스에 대한 실용적 유용성을 보여준다.
• 노름 매개변수 $p$ 와 함께 필요한 워크 수가 지수적으로 증가하지 않고 천천히 증가함을 확인하여, 에스트라다 지수나 역행렬의 트레이스와 같은 스펙트럼 함수 근사에 실용적으로 적용 가능함을 시사한다.
• 다섯 개인 실세계 매트릭스에서 $10\%$ 상대 오차를 달성하기 위해 필요한 워크 수의 중앙값은 수백에서 수천 수준으로 이론적 상한보다 훨씬 낮게 나타났다.