[논문 리뷰] Single Pass Spectral Sparsification in Dynamic Streams

Michael Kapralov, Yin Tat Lee외 3명|arXiv (Cornell University)|2014. 07. 04.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 동적 반응 스트림 환경에서 스펙트럼 스퍼서피케이션을 위한 첫 번째 싱글패스 알고리즘을 제시한다. $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 공간을 사용하며, 그래프의 인cidencematrix에 대한 랜덤라이즈드 선형 스케치를 적용한다. 이는 고확률적으로 $(1\pm\epsilon)$ 스펙트럼 스퍼서피케이터를 필요에 따라 출력할 수 있게 하여, 이전의 싱글패스 동적 스펙트럼 스퍼서피케이션에 대한 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 공간 복잡도를 크게 향상시킨다.

ABSTRACT

We present the first single pass algorithm for computing spectral sparsifiers of graphs in the dynamic semi-streaming model. Given a single pass over a stream containing insertions and deletions of edges to a graph G, our algorithm maintains a randomized linear sketch of the incidence matrix of G into dimension O((1/epsilon^2) n polylog(n)). Using this sketch, at any point, the algorithm can output a (1 +/- epsilon) spectral sparsifier for G with high probability. While O((1/epsilon^2) n polylog(n)) space algorithms are known for computing "cut sparsifiers" in dynamic streams [AGM12b, GKP12] and spectral sparsifiers in "insertion-only" streams [KL11], prior to our work, the best known single pass algorithm for maintaining spectral sparsifiers in dynamic streams required sketches of dimension Omega((1/epsilon^2) n^(5/3)) [AGM14]. To achieve our result, we show that, using a coarse sparsifier of G and a linear sketch of G's incidence matrix, it is possible to sample edges by effective resistance, obtaining a spectral sparsifier of arbitrary precision. Sampling from the sketch requires a novel application of ell_2/ell_2 sparse recovery, a natural extension of the ell_0 methods used for cut sparsifiers in [AGM12b]. Recent work of [MP12] on row sampling for matrix approximation gives a recursive approach for obtaining the required coarse sparsifiers. Under certain restrictions, our approach also extends to the problem of maintaining a spectral approximation for a general matrix A^T A given a stream of updates to rows in A.

연구 동기 및 목표

• 간선 삽입 및 삭제가 스트림으로 들어오는 동적 반응 스트림 환경에서 스펙트럼 스퍼서피케이션을 위한 싱글패스 알고리즘을 설계한다.
• 싱글패스 동적 스펙트럼 스퍼서피케이터의 공간 복잡도를 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 에서 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 으로 감소시켜, 컷 스퍼서피케이터의 최고 기록과 동일한 복잡도를 달성한다.
• 스펙트럼 스퍼서피케이터를 고정밀도로 구성하는 데 핵심적인 효과적 저항 기반 간선 샘플링을 선형 스케치를 통해 효율적으로 수행한다.
• 이 접근 방식을 일반 행렬 $A^\top A$ 의 스펙트럼 근사화를 유지하는 데로 확장하여 행 업데이트 스트림 환경에서 적용한다.

제안 방법

• 스펙트럼 스퍼서피케이션을 위한 동적 업데이트를 허용하는 선형 대수 연산을 통해 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 공간을 사용하여 그래프의 인cidencematrix $\mathbf{B}$ 의 랜덤라이즈드 선형 스케치를 유지한다.
• 스펙트럼 스퍼서피케이터의 기초로 사용되는 조잡한 스펙트럼 스퍼서피케이터를 통해 스케치를 통해 효과적 저항 기반 샘플링을 가능하게 한다.
• $\ell_2/\ell_2$ 희소 복구 기법을 적용하여 효과적 저항 기반 간선 샘플링을 수행하며, 컷 스퍼서피케이터 알고리즘에서 사용된 $\ell_0$ 기법을 확장한다.
• [MP12]의 재귀적 행 샘플링 기법을 활용하여 스트리밍 환경에서 효율적으로 필요한 조잡한 스퍼서피케이터를 구성한다.
• Nisan의 의사난수 생성기로 랜덤 해시 함수를 압축하여 공간을 $O(n^2\log n)$ 에서 $O(n\cdot \mathop{\mathrm{poly}}\log n)$ 으로 감소시키며, 오차가 무시할 정도로 작게 유지한다.
• 스케치 연산이 간선 순서와 교환 가능하도록 보장하여, 필요에 따라 의사난수 비트를 생성함으로써 임의의 업데이트 순서에 적용 가능한 알고리즘을 확보한다.

실험 결과

연구 질문

• RQ1 스펙트럼 스퍼서피케이션을 위한 싱글패스 알고리즘을 동적 반응 스트림 환경에서 설계할 수 있는가? 이때 공간 복잡도는 컷 스퍼서피케이터와 동일한 수준이어야 한다.
• RQ2 동적 스트림 환경에서 인cidencematrix의 선형 스케치만으로도 효과적 저항 기반 간선 샘플링이 가능한가?
• RQ3 $\ell_2/\ell_2$ 희소 복구 기법을 동적 스트림 환경에서 스펙트럼 스퍼서피케이션에 효과적으로 적용할 수 있는가? 이는 $\ell_0$ 기반 컷 스퍼서피케이터 기법의 확장인가?
• RQ4 의사난수 해시 함수를 어떻게 압축하여 하위선형 공간을 유지하면서도 스케칭 과정의 정확성을 유지할 수 있는가?
• RQ5 이 프레임워크는 행 업데이트 스트림 환경에서 임의의 행렬 $A^\top A$ 의 스펙트럼 근사화를 유지하는 데로 일반화할 수 있는가?

주요 결과

• 논문은 동적 반응 스트림 환경에서 공간 복잡도 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 를 달성하는 첫 번째 싱글패스 스펙트럼 스퍼서피케이터를 구현하여, 이전의 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 복잡도를 크게 향상시켰다.
• 알고리즘은 간선 삽입 및 삭제를 동적으로 처리할 수 있는 인cidencematrix의 선형 스케치를 유지하며, 실시간으로 스펙트럼 스퍼서피케이터를 구성할 수 있다.
• 효과적 저항 기반 샘플링은 $\ell_2/\ell_2$ 희소 복구의 새로운 응용을 통해 달성되었으며, 이는 $\ell_0$ 기반 컷 스퍼서피케이터 기법을 스펙트럼 스퍼서피케이션으로 확장한 것이다.
• 의사난수 생성기를 사용함으로써 랜덤 해시 함수에 필요한 공간을 $O(n^2\log n)$ 에서 $O(n\cdot \mathop{\mathrm{poly}}\log n)$ 으로 감소시켰으며, 실패 확률은 무시할 정도로 낮게 유지된다.
• 이 방법은 동일한 공간 및 패스 제약 조건 하에 행 업데이트 스트림 환경에서 $A^\top A$ 형식의 행렬에 대한 스펙트럼 근사화를 유지하는 데로 일반화된다.
• 알고리즘은 스트림의 어느 시점에서든 출력되는 스펙트럼 스퍼서피케이터가 $(1\pm\epsilon)$-스펙트럼 스퍼서피케이터임을 고확률로 보장한다.