[논문 리뷰] Quick Streaming Algorithms for Maximization of Monotone Submodular Functions in Linear Time

Alan Kuhnle|arXiv (Cornell University)|2020. 09. 10.

Complexity and Algorithms in Graphs참고 문헌 26인용 수 5

한 줄 요약

이 논문은 기수 제약 조건 하에서 단조 감소하는 부분모듈러 최대화를 위한 최초의 결정적 스트리밍 알고리즘을 제시한다. 선형 시간 및 쿼리 복잡도를 갖는다. 제안된 QuickStream 알고리즘은 단일 패assing에서 $ \lceil n/c \rceil + c$ 오라클 쿼리를 사용하여 일정한 근사 비율을 달성한다. 반면 QS+BR는 일정한 패assing 수에서 거의 최적의 $1 - 1/e - \varepsilon$ 비율을 달성하며, 이는 이전 방법들보다 효율성과 경험적 목적 함수 값 측면에서 뛰어나다.

ABSTRACT

We consider the problem of monotone, submodular maximization over a ground set of size $n$ subject to cardinality constraint $k$. For this problem, we introduce the first deterministic algorithms with linear time complexity; these algorithms are streaming algorithms. Our single-pass algorithm obtains a constant ratio in $\lceil n / c ceil + c$ oracle queries, for any $c \ge 1$. In addition, we propose a deterministic, multi-pass streaming algorithm with a constant number of passes that achieves nearly the optimal ratio with linear query and time complexities. We prove a lower bound that implies no constant-factor approximation exists using $o(n)$ queries, even if queries to infeasible sets are allowed. An empirical analysis demonstrates that our algorithms require fewer queries (often substantially less than $n$) yet still achieve better objective value than the current state-of-the-art algorithms, including single-pass, multi-pass, and non-streaming algorithms.

연구 동기 및 목표

• 선형 시간 복잡도를 갖는 최초의 결정적 스트리밍 알고리즘을 설계함으로써 단조 감소하는 부분모듈러 최대화(SMCC)를 위한 알고리즘을 개발한다.
• 함수 평가가 비용이 많이 드는 상황에서 최소한의 오라클 쿼리를 사용하여 일정한 근사 비율을 달성하고자 한다.
• 선형 쿼리 및 시간 복잡도를 유지하면서 거의 최적의 $1 - 1/e$ 비율을 달성하는 다중 패assing 알고리즘을 개발하고자 한다.
• 경험적으로 제안된 알고리즘이 기존의 단일 패assing, 다중 패assing, 비스트리밍 알고리즘보다 목적 함수 값과 쿼리 효율성 측면에서 뛰어나다는 것을 입증하고자 한다.
• 스트리밍 환경에서 일정한 요인 근사가 가능하지 않은 상황을 증명하는 이론적 하한선을 수립하고자 한다. 이는 비가능한 집합 쿼리가 허용되더라도 $o(n)$ 쿼리로는 일정한 요인 근사가 불가능하다는 것을 의미한다.

제안 방법

• 크기 $c$ 의 배치로 요소를 처리하는 단일 패assing 스트리밍 알고리즘인 QuickStream을 도입하며, 후보 해를 유지하고 경계 이득 쿼리를 사용하여 요소를 선택한다.
• 초기 패assing 이후 해 품질을 향상시키기 위해 BoostRatio라는 후처리 히우리스틱을 적용하여 근사 비율을 향상시킨다.
• 배치 처리와 강화 단계를 조합한 다중 패assing 알고리즘인 QS+BR을 제안하며, 반복적으로 해를 정밀화하여 거의 최적의 $1 - 1/e - \varepsilon$ 비율을 달성한다.
• QuickStream의 근사 비율을 $1/(4c) - \varepsilon$ 로 제한하는 새로운 분석 프레임워크를 사용하며, $k \to \infty$ 일 때 渐近적으로 $(1 - 1/e)/(c + 1)$ 으로 향상된다.
• 메모리 효율적인 데이터 구조를 설계하여 $O(ck\log k\log(1/\varepsilon))$ 개의 요소만 저장함으로써 대규모 데이터셋에서의 스트리밍 배포를 가능하게 한다.
• 오라클 호출을 항상 가능한, 증가하는 집합으로 제한함으로써 쿼리 감소 전략을 적용하여 고비용 함수 평가 횟수를 크게 줄였다.

실험 결과

연구 질문

• RQ1 기본적인 시간 및 쿼리 복잡도가 선형인 결정적 스트리밍 알고리즘이 단조 감소하는 부분모듈러 최대화 문제에서 일정한 근사 비율을 달성할 수 있는가?
• RQ2 단일 패assing 스트리밍 알고리즘으로 $n$ 개 이하의 오라클 쿼리를 사용하면서도 경쟁 가능한 근사 비율을 유지할 수 있는가?
• RQ3 다중 패assing 결정적 스트리밍 알고리즘이 선형 쿼리 복잡도를 유지하면서 거의 최적의 $1 - 1/e - \varepsilon$ 근사 비율을 달성할 수 있는가?
• RQ4 스트리밍 모델에서 일정한 요인 근사를 달성하기 위해 필요한 최소 쿼리 수의 이론적 하한선은 무엇인가?
• RQ5 제안된 알고리즘은 목적 함수 값, 쿼리 수, 메모리 사용량 측면에서 최신 기술과 비교해 실제로 어떻게 성능을 냈는가?

주요 결과

• QuickStream는 $\lceil n/c \rceil + c$ 개의 오라클 쿼리와 $O(n)$ 시간 복잡도로 최소 $1/(4c) - \varepsilon$ 의 근사 비율을 달성하며, 이는 SMCC 문제에 대해 최초의 선형 시간 결정적 스트리밍 알고리즘이다.
• c = 1 일 경우, QuickStream++ 는 작은 $k$ 인스턴스에서 표준 그레디언트 값의 평균 목적 함수 값 0.99를 달성하며, C&K, SieveStream++, P-Pass 보다 뛰어난 성능을 보였다.
• QS+BR 는 일정한 패assing 수에서 $O(n/\varepsilon)$ 개의 오라클 쿼리와 $O(n)$ 시간 복잡도로 거의 최적의 비율인 $1 - 1/e - \varepsilon$ 을 달성하며, 이는 선형 쿼리 복잡도를 유지하면서도 최초의 결정적 알고리즘이다.
• 경험적 결과에 따르면 QuickStream 는 SieveStream++ 보다 훨씬 적은 쿼리를 사용하며(종종 $n$ 이하), 목적 함수 값도 더 높게 달성했고, 일부 경우에서는 비스트리밍 LTL 알고리즘을 초월하기도 했다.
• QuickStream 의 메모리 사용량은 $k$ 와 일정한 요인 내에서 유지되며, 큰 $k$ 에서는 SieveStream++ 보다 더 적은 메모리를 사용한다.
• 이론적 하한선을 통해 비가능한 집합 쿼리가 허용되더라도 $o(n)$ 쿼리로는 일정한 요인 근사가 불가능하다는 것을 증명하며, 제안된 알고리즘의 쿼리 복잡도가 최적임을 입증한다.