[논문 리뷰] An Efficient Streaming Algorithm for the Submodular Cover Problem

Ashkan Norouzi-Fard, Abbas Bazzi외 4명|arXiv (Cornell University)|2016. 11. 25.

Complexity and Algorithms in Graphs인용 수 6

한 줄 요약

이 논문은 서브모듈라 커버(SC) 문제에 대해 서브라인어 메모리 제약 조건 하에서 최초의 효율적인 단일 패assing 스트리밍 알고리즘인 ESC-Streaming을 소개한다. 최적 해에 대해 2/ε의 근사값을 제공하면서도 목표 유틸리티의 (1−ε)를 달성함으로써, 7억 8,700만 개 이상의 노드를 가진 그래프와 같은 거대한 데이터셋에 대해 매우 확장 가능한 성능을 보인다.

ABSTRACT

We initiate the study of the classical Submodular Cover (SC) problem in the data streaming model which we refer to as the Streaming Submodular Cover (SSC). We show that any single pass streaming algorithm using sublinear memory in the size of the stream will fail to provide any non-trivial approximation guarantees for SSC. Hence, we consider a relaxed version of SSC, where we only seek to find a partial cover. We design the first Efficient bicriteria Submodular Cover Streaming (ESC-Streaming) algorithm for this problem, and provide theoretical guarantees for its performance supported by numerical evidence. Our algorithm finds solutions that are competitive with the near-optimal offline greedy algorithm despite requiring only a single pass over the data stream. In our numerical experiments, we evaluate the performance of ESC-Streaming on active set selection and large-scale graph cover problems.

연구 동기 및 목표

• 전체 기저 집합을 메모리에 저장할 수 없는 데이터 스트리밍 환경에서 서브모듈라 커버(SC) 문제를 해결하는 데 도전한다.
• 기본적인 가정 하에 단일 패assing 스트리밍 알고리즘이 서브라인어 메모리 제약 조건에서 정확한 SC 문제에 비현실적인 근사값을 달성할 수 없다는 근본적인 제약을 극복한다.
• 목표 유틸리티의 (1−ε) 정도만 달성하면 되는, SC의 완화된 버전을 위한 실용적이고 효율적인 알고리즘을 개발한다.
• 단일 패assing만을 허용하고 메모리와 시간 효율성을 확보하면서도 강력한 이론적 보장을 제공하는 스트리밍 알고리즘을 설계한다.
• 실세계 문제들인 활성 집합 선택 및 대규모 그래프 커버와 같은 분야에서 오프라인 그레디 알고리즘과의 경쟁력 있는 성능을 입증한다.

제안 방법

• 정확한 커버리지가 아니라 목표 유틸리티의 (1−ε) 정도를 달성하는 데 초점을 맞춘 서브모듈라 커버 문제의 완화된 버전을 제안한다.
• 두 단계 접근 방식을 사용하는 이중 기준 스트리밍 알고리즘인 ESC-Streaming을 도입한다: 첫 번째 단계에서는 임계값 기반 선택 전략을 사용해 후보 집합을 구축하고, 두 번째 단계에서는 승수 인자 α를 사용한 그레디 유사 선택 전략으로 해를 정밀 조정한다.
• 서브모듈라 함수의 감소 수익 성질을 활용하여 작은 활성 후보 집합을 유지하는 메모리 효율적인 선택 메커니즘을 설계한다.
• 해의 크기와 계산 비용 사이의 트레이드오프를 제어하기 위해 파라미터 α를 사용하며, α > 1일 경우 더 큰 그러나 더 효율적인 해 집합을 허용한다.
• 요소들이 임의의 순서로 처리되며 단일 패assing만 허용되고, 최적 해 크기의 O(1/ε) 배 이내로 메모리가 제한되는 스트리밍 오라클 모델을 적용한다.
• 이론적 분석 결과, ESC-Streaming은 최적 해 크기의 2/ε 근사값을 달성하면서도 (1−ε) 유틸리티 커버리지를 보장함을 입증한다.

실험 결과

연구 질문

• RQ1 서브라인어 메모리 제약 조건 하에서 단일 패assing 스트리밍 알고리즘이 정확한 서브모듈라 커버 문제에 대해 비현실적인 근사값을 달성할 수 있는가?
• RQ2 스트리밍 서브모듈라 커버 문제에서 메모리 사용량과 근사 비율 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 최적 해보다 약간 더 큰 해 집합을 사용하면서도 거의 최적의 유틸리티 커버리지를 달성할 수 있는 효율적인 스트리밍 알고리즘을 설계할 수 있는가?
• RQ4 대규모 실세계 데이터셋, 예를 들어 거대한 그래프에서 제안된 알고리즘의 실용적 성능은 어떠한가?
• RQ5 7억 8,700만 개 이상의 노드를 가진 그래프에 대해 오프라인 그레디 방법과 경쟁 가능한 성능을 유지하면서도 확장 가능한가?

주요 결과

• 서브라인어 메모리 제약 조건 하에서 단일 패assing 스트리밍 알고리즘은 정확한 서브모듈라 커버 문제에 대해 비현실적인 근사값을 달성할 수 없으며, 이는 근본적인 하한선을 설정한다.
• ESC-Streaming은 최적 해 크기의 2/ε 근사값을 달성하면서도 목표 유틸리티의 (1−ε)를 보장함으로써 강력한 이론적 보장을 제공한다.
• uk-2014 그래프(7억 8,700만 개 노드, 476억 개 간선)에서 ESC-Streaming은 특히 더 도전적인 정점 커버 문제에서 무작위 선택보다 뛰어난 성능을 보였다.
• Friendster 그래프(6,560만 개 노드, 180억 개 간선)에서 ESC-Streaming의 해 크기는 2,000회 반복 후 오프라인 그레디 알고리즘과 매우 유사한 수준이었다.
• Friendster 그래프에서 α=2일 경우 ESC-Streaming은 단지 3,000만 바이트의 메모리만을 사용했고, 오프라인 그레디 알고리즘은 단일 대규모 쿼리에 대해 2일 이상과 1.2×10⁷회의 오라클 호출을 필요로 했다.
• 알고리즘은 오프라인 그레디 대비 오라클 호출 수를 3.15% 미만으로 줄였으며, 레이지 그레디 대비 25.5% 수준으로 줄여 상당한 효율성 향상을 보였다.