[논문 리뷰] Polynomial Pass Semi-Streaming Lower Bounds for K-Cores and Degeneracy

Sepehr Assadi, Prantar Ghosh외 3명|arXiv (Cornell University)|2024. 01. 01.

Complexity and Algorithms in Graphs인용 수 2

한 줄 요약

이 논문은 기본적인 그래프 문제인 k-core와 제너레이션에 대해 처음으로 다항수(pass) 반복을 요구하는 반스트림(lower bound)을 확립한다. 정확한 계산을 요구하는 모든 반스트림 알고리즘은 Ω(n^{1/3})회의 반복을 가져야 한다는 것을 보여준다. 저자들은 일반화된 숨겨진 포인터 추적 문제(MultiHPC)에 기반한 새로운 통신 프로토콜을 도입하여 거의 선형 수준의 통신을 달성하고, 최적의 라운드-통신 복잡도 하한선을 증명한다. 이는 이전의 n^{1/5}에서 n^{1/3}으로 개선된 하한선을 통해 반스트림 모델에서 정확한 해를 구하기 위해 필요한 반복 수를 크게 향상시킨다.

ABSTRACT

The following question arises naturally in the study of graph streaming algorithms: Is there any graph problem which is "not too hard", in that it can be solved efficiently with total communication (nearly) linear in the number n of vertices, and for which, nonetheless, any streaming algorithm with Õ(n) space (i.e., a semi-streaming algorithm) needs a polynomial n^Ω(1) number of passes? Assadi, Chen, and Khanna [STOC 2019] were the first to prove that this is indeed the case. However, the lower bounds that they obtained are for rather non-standard graph problems. Our first main contribution is to present the first polynomial-pass lower bounds for natural "not too hard" graph problems studied previously in the streaming model: k-cores and degeneracy. We devise a novel communication protocol for both problems with near-linear communication, thus showing that k-cores and degeneracy are natural examples of "not too hard" problems. Indeed, previous work have developed single-pass semi-streaming algorithms for approximating these problems. In contrast, we prove that any semi-streaming algorithm for exactly solving these problems requires (almost) Ω(n^{1/3}) passes. The lower bound follows by a reduction from a generalization of the hidden pointer chasing (HPC) problem of Assadi, Chen, and Khanna, which is also the basis of their earlier semi-streaming lower bounds. Our second main contribution is improved round-communication lower bounds for the underlying communication problems at the basis of these reductions: - We improve the previous lower bound of Assadi, Chen, and Khanna for HPC to achieve optimal bounds for this problem. - We further observe that all current reductions from HPC can also work with a generalized version of this problem that we call MultiHPC, and prove an even stronger and optimal lower bound for this generalization. These two results collectively allow us to improve the resulting pass lower bounds for semi-streaming algorithms by a polynomial factor, namely, from n^{1/5} to n^{1/3} passes.

연구 동기 및 목표

• 반스트림 이론에서 빈약한 간격을 메우기 위해, k-core와 제너레이션과 같은 자연스럽고 '너무 어려운 편이 아닌' 문제들이 반스트림 모델에서 다항수의 반복을 요구한다는 것을 증명하는 것.
• k-core와 제너레이션의 정확한 계산이 단일 반복에서 효율적인 근사 알고리즘이 존재함에도 불구하고, 다항수 이하의 반복으로는 달성될 수 없다는 것을 보여주는 것.
• 제너레이션 문제에 대해 거의 선형 통신을 갖는 새로운 통신 프로토콜을 개발하여, 이러한 문제가 강력한 하한선의 자연스러운 후보임을 보여주는 것.
• 숨겨진 포인터 추적(HPC) 문제와 그 일반화된 형태(MultiHPC)에 대한 라운드-통신 복잡도 하한선을 향상시켜 최적의 하한선을 달성하는 것.

제안 방법

• 저자들은 원래의 HPC 프레임워크를 확장하여 더 강력한 감소를 가능하게 하는 일반화된 통신 문제인 MultiHPC(Multilayer Hidden Pointer Chasing)를 도입한다.
• MultiHPC에 대한 짧은 프로토콜이 존재하면, 집합의 교차 문제에 대한 저정보 ε-해결기(low-information ε-solvers)를 유도할 수 있으며, 이를 통해 정보 이론적 추론을 통해 정확한 해결기를 도출할 수 있음을 증명한다.
• MultiHPC를 제너레이션 문제로 감소시키기 위해 새로운 기법을 사용하여, 통신 복잡도를 그래프 스트림 인스턴스에 통합한다.
• 이 감소를 통해 제너레이션 문제에 대한 반스트림 알고리즘을 통신 프로토콜로 변환함으로써, 스트림의 반복 복잡도와 통신의 단계 복잡도 사이의 연결 고리를 설정한다.
• 양의 삼각형 분리도와 엔트로피 기반 부등식을 사용하여 정보 복잡도에 대한 날카로운 하한선을 확립한다.
• 제너레이션 문제에 대해 eO(n)의 통신 비용을 갖는 프로토콜을 구성함으로써, 문제의 통신 복잡도 측면에서 '너무 어려운 편이 아님'을 보여주며, 하한선의 의미를 더욱 강화한다.

실험 결과

연구 질문

• RQ1 반스트림 모델에서 k-core와 제너레이션과 같은 자연스러운 그래프 문제에 대해 다항수 반복 하한선을 확립할 수 있는가?
• RQ2 제너레이션과 k-core의 복잡도를 포괄하면서 거의 선형 통신을 허용하는 통신 문제는 존재하는가?
• RQ3 숨겨진 포인터 추적(HPC) 문제를 일반화하여 최적의 통신 복잡도 하한선을 달성할 수 있는가?
• RQ4 반스트림 알고리즘이 제너레이션 또는 k-core를 정확히 계산하기 위해 필요한 최적의 반복 수는 얼마인가?
• RQ5 HPC 및 그 일반화된 형태에 대한 통신 복잡도 하한선의 향상이 어떻게 더 강력한 스트림 반복 하한선으로 이어지는가?

주요 결과

• 논문은 제너레이션 또는 k-core를 정확히 계산하기 위한 모든 반스트림 알고리즘이 Ω(n^{1/3})회의 반복을 가져야 한다는 것을 증명하며, 이는 이전의 n^{1/5} 하한선을 초월한다.
• 제너레이션 문제에 대해 eO(n)의 통신 비용을 갖는 새로운 통신 프로토콜을 구성하여, 문제의 통신 복잡도 측면에서 '너무 어려운 편이 아님'을 보여준다.
• 저자들은 숨겨진 포인터 추적의 일반화된 형태인 MultiHPC 문제를 도입하고 분석하여, 더 강력한 감소와 최적의 하한선을 가능하게 한다.
• HPC의 라운드-통신 복잡도는 최적의 하한선으로 향상되었으며, MultiHPC의 경우에도 마찬가지로 최적의 하한선이 달성되어 이전 연구의 간극을 메꾼다.
• MultiHPC에서 제너레이션으로의 감소는, 제너레이션에 대한 효율적인 반스트림 알고리즘이 존재한다면 MultiHPC에 대한 짧은 통신 프로토콜이 존재하게 되며, 이는 유도된 하한선에 의해 불가능하다는 것을 보여준다.
• 결과적으로, k-core와 제너레이션은 거의 선형 통신으로 효율적으로 해결 가능한 자연스러운 문제들임을 보여주며, 반스트림 모델에서는 다항수의 반복을 요구한다는 점에서 중요한 예시로 작용한다.