[논문 리뷰] Submodular Streaming in All its Glory: Tight Approximation, Minimum Memory and Low Adaptive Complexity

Ehsan Kazemi, Marko Mitrovic외 3명|arXiv (Cornell University)|2019. 05. 02.

Complexity and Algorithms in Graphs참고 문헌 39인용 수 31

한 줄 요약

이 논문은 단일 패assing 스트리밍 알고리즘인 Sieve-Streaming++을 제안하며, 기수 제약 조건 $k$ 하에서 단조 감소하는 부분모듈러 최대화 문제에 대해 최적의 $rac{1}{2}$-근사값을 달성하면서도 오직 $O(k)$ 메모리만을 사용한다—최적의 근사값과 최소한의 메모리 간 격차를 해소한다. 또한 소량의 스트림을 버퍼링하고 병렬 필터링을 적용하여 적응 복잡도를 감소시켜, 단일 및 다중 소스 스트리밍 환경 모두에서 최적의 근사값과 메모리 범위를 유지하면서 낮은 라운드 수, 높은 효율성의 계산을 가능하게 한다.

ABSTRACT

Streaming algorithms are generally judged by the quality of their solution, memory footprint, and computational complexity. In this paper, we study the problem of maximizing a monotone submodular function in the streaming setting with a cardinality constraint $k$. We first propose Sieve-Streaming++, which requires just one pass over the data, keeps only $O(k)$ elements and achieves the tight $(1/2)$-approximation guarantee. The best previously known streaming algorithms either achieve a suboptimal $(1/4)$-approximation with $Θ(k)$ memory or the optimal $(1/2)$-approximation with $O(k\log k)$ memory. Next, we show that by buffering a small fraction of the stream and applying a careful filtering procedure, one can heavily reduce the number of adaptive computational rounds, thus substantially lowering the computational complexity of Sieve-Streaming++. We then generalize our results to the more challenging multi-source streaming setting. We show how one can achieve the tight $(1/2)$-approximation guarantee with $O(k)$ shared memory while minimizing not only the required rounds of computations but also the total number of communicated bits. Finally, we demonstrate the efficiency of our algorithms on real-world data summarization tasks for multi-source streams of tweets and of YouTube videos.

연구 동기 및 목표

• 스트리밍 부분모듈러 최대화 문제에서 최적의 근사율($\frac{1}{2}$)과 최소한의 메모리 복잡도($O(k)$) 간 격차를 해소하기 위해.
• 기존에 요소별 오라클 쿼리로 인해 $\Omega(n)$ 라운드가 필요한 스트리밍 부분모듈러 알고리즘의 적응 복잡도를 낮추기 위해.
• 최소한의 공유 메모리, 낮은 통신 비용, 근사 최적의 적응성을 확보하면서 다중 소스 스트리밍 환경으로 프레임워크를 확장하기 위해.
• 삭제에 강건한, 이중 단계, 약한 부분모듈러 최대화와 같은 관련 문제들에서 메모리 복잡도를 향상시키기 위해 접근을 일반화하기 위해.
• 실세계 데이터 스트림, 예를 들어 트윗과 유튜브 영상에서의 실용적 효율성을 입증하기 위해.

제안 방법

• 단일 패assing 알고리즘인 Sieve-Streaming++를 제안하며, 오직 $O(k)$ 개의 요소만 유지하면서도 새로운 필터링 메커니즘을 통해 $rac{1}{2}$-근사값을 달성한다.
• 소량의 데이터 윈도우에 대해 병렬 오라클 쿼리를 허용하는 버퍼링 전략을 도입하여, 적응 라운드 수를 $\Omega(n)$ 에서 $O(1)$ 또는 $O(\log k)$ 로 감소시킨다.
• 모든 요소를 저장하지 않고도 $\texttt{OPT}$ 를 추정하기 위해 값 추측 기법을 활용하여, 근사 보장을 유지하면서도 메모리 감소를 가능하게 한다.
• 공유 메모리와 통신 효율적인 필터링을 사용한 다중 소스 확장 기법을 적용하여 $O(k)$ 공유 메모리, $O(1)$ 통신 라운드, $O(k)$ 총 전송 비트를 유지한다.
• 스트리밍과 배치 처리를 융합한 하이브리드 모델을 사용하여 적응성을 감소시키면서도 최적의 근사값과 메모리 복잡도를 유지한다.
• 값 추측 및 필터링 구성 요소를 조정하여 약한 부분모듈러, 삭제에 강건한, 이중 단계 부분모듈러 최대화 문제에 대해 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 스트리밍 알고리즘이 최적의 $rac{1}{2}$-근사값을 $O(k)$ 메모리로 달성할 수 있는가? 이는 이전 연구에서 남아있던 격차를 메우는가?
• RQ2 스트리밍 부분모듈러 최대화의 적응 복잡도를 $\Omega(n)$ 에서 상수 또는 로그 수준의 라운드로 낮출 수 있는가?
• RQ3 프레임워크는 최소한의 공유 메모리와 낮은 통신 비용으로 다중 소스 스트리밍 환경으로 확장될 수 있는가?
• RQ4 값 추정 및 필터링의 핵심 아이디어는 다른 부분모듈러 최대화 변형 문제에서 메모리 복잡도를 향상시키기 위해 일반화될 수 있는가?
• RQ5 고속도 및 이질성을 띤 실세계 데이터 스트림에서 알고리즘의 성능은 어떠한가?

주요 결과

• Sieve-Streaming++는 오직 $O(k)$ 메모리만을 사용하면서도 타당한 $rac{1}{2}$-근사값을 달성하여, 스트리밍 부분모듈러 최대화 문제에서 오랫동안 남아있던 열린 문제를 해결한다.
• 소량의 스트림을 버퍼링하고 병렬 오라클 쿼리를 허용함으로써 적응 복잡도를 $O(\log k)$ 라운드로 감소시킨다.
• 다중 소스 환경에서는 $O(k)$ 공유 메모리, $O(1)$ 통신 라운드, $O(k)$ 총 전송 비트를 유지한다.
• 삭제에 강건한 부분모듈러 최대화 문제에서 메모리 복잡도를 $O(kd\log k/\varepsilon)$ 에서 $O(kd/\varepsilon)$ 로 감소시키며 동일한 근사율을 유지한다.
• 약한 부분모듈러 함수의 경우, 메모리 복잡도를 $O(k\log k/\varepsilon)$ 에서 $O(k/\varepsilon)$ 로 감소시키며 일정 요소 근사값을 유지한다.
• 트윗 및 유튜브 영상 스트림에서의 실증 평가를 통해 알고리즘의 효율성, 확장성, 이전 방법들에 비한 실용적 우수성을 확인한다.