[논문 리뷰] Best of Both Worlds: Practical and Theoretically Optimal Submodular Maximization in Parallel

Yixin Chen, Tonmoy Dey외 1명|arXiv (Cornell University)|2021. 11. 15.

Complexity and Algorithms in Graphs인용 수 8

한 줄 요약

이 논문은 기수 제약 조건 하에서 단조 증가하는 부분모듈러 최대화를 위한 새로운 병렬 알고리즘인 LS+PGB를 제안한다. 이 알고리즘은 쿼리 복잡도(O(n) 기대값), 적응성(O(log n)) 및 근사 비율(거의 1−1/e)에서 이론적 최적성을 달성하면서도, 기존 최상위 기법인 FAST보다 실질적으로 뛰어난 성능을 보인다. 방법은 선형 순차 처리(LinearSeq)와 병렬 임계값 설정 절차(ThresholdSeq)를 조합하여 이론적 보장과 뛰어난 실험 성능를 동시에 확보한다. 여섯 가지 다양한 부분모듈러 목적 함수에서 검증되었다.

ABSTRACT

For the problem of maximizing a monotone, submodular function with respect to a cardinality constraint $k$ on a ground set of size $n$, we provide an algorithm that achieves the state-of-the-art in both its empirical performance and its theoretical properties, in terms of adaptive complexity, query complexity, and approximation ratio; that is, it obtains, with high probability, query complexity of $O(n)$ in expectation, adaptivity of $O(\log(n))$, and approximation ratio of nearly $1-1/e$. The main algorithm is assembled from two components which may be of independent interest. The first component of our algorithm, LINEARSEQ, is useful as a preprocessing algorithm to improve the query complexity of many algorithms. Moreover, a variant of LINEARSEQ is shown to have adaptive complexity of $O( \log (n / k) )$ which is smaller than that of any previous algorithm in the literature. The second component is a parallelizable thresholding procedure THRESHOLDSEQ for adding elements with gain above a constant threshold. Finally, we demonstrate that our main algorithm empirically outperforms, in terms of runtime, adaptive rounds, total queries, and objective values, the previous state-of-the-art algorithm FAST in a comprehensive evaluation with six submodular objective functions.

연구 동기 및 목표

• 이론적으로 최적이지만 실용적이지 않은 부분모듈러 최대화 알고리즘과 실용성은 높지만 이론적으로 약한 알고리즘(예: FAST) 사이의 격차를 메우기 위해.
• 동시에 이론적 복잡도(쿼리, 적응성) 최적성과 뛰어난 실험 성능를 달성하는 병렬 알고리즘을 설계하기 위해.
• 이미지 요약, 네트워크 모니터링, 영향력 최대화와 같은 대규모 응용 분야를 위한 효율적이고 확장 가능한 부분모듈러 최적화를 가능하게 하기 위해.
• 강력한 이론적 보장을 제공하지만 실용적 구현을 방해하는 샘플링 기반 알고리즘의 고정 계수를 줄이기 위해.
• 이론적 최적성과 실용적 효율성이 부분모듈러 최대화에서 상호 배제적이지 않음을 입증하기 위해.

제안 방법

• 알고리즘은 두 구성요소로 이루어져 있다: 쿼리 효율성을 향상시키고 O(log(n/k))의 적응성 복잡도를 달성하는 전처리 절차인 LinearSeq와, 일정 임계값을 초월하는 마진 기여를 가진 요소를 추가하는 병렬 가능한 임계값 설정 절차인 ThresholdSeq.
• LinearSeq는 반복적으로 저기여 요소를 식별하고 제거하여 유효한 기저 집합 크기를 줄여, 이후에 필요한 쿼리 수를 감소시킨다.
• ThresholdSeq는 병렬 라운드 방식으로 작동하며, 각 라운드에서 고정된 임계값을 초월하는 기여를 가진 요소를 평가한다. 이는 높은 품질의 추가를 보장하면서도 낮은 적응성 유지에 기여한다.
• 전반적인 알고리즘인 LS+PGB는 LinearSeq와 ThresholdSeq를 통합하여 이론적 보장과 실용적 효율성의 균형을 이루며, 낮은 쿼리 수와 적응성 복잡도로 거의 최적의 근사 비율을 달성한다.
• 이전 연구에서 유래한 적응적 순서 기법을 활용하지만, 이전 버전의 이차 쿼리 복잡도를 피하기 위해 최적화하여 확장성을 가능하게 한다.
• 이론적 분석 결과 LS+PGB는 O(n) 기대 쿼리 복잡도, O(log n) 적응성, 그리고 고확률로 (1−1/e)−ε 근사 비율을 달성함을 보였다.

실험 결과

연구 질문

• RQ1 쿼리 복잡도, 적응성, 근사 비율에서 이론적 최적성을 同시에 달성하면서도 대규모 응용 분야에 실용적인 알고리즘을 설계할 수 있는가?
• RQ2 이론적 보장을 유지하면서도 샘플링 기반 최적 알고리즘의 높은 고정 계수를 줄일 수 있는가?
• RQ3 전처리와 임계값 설정을 조합한 하이브리드 접근 방식이 부분모듈러 최대화에서 이론적 최적성과 뛰어난 실험 성능를 동시에 달성할 수 있는가?
• RQ4 특히 작은 k 값에 대해 LinearSeq의 적응성 복잡도는 기존 방법들과 비교해 어떻게 되는가?
• RQ5 다양한 실제 부분모듈러 목적 함수에서 LS+PGB는 런타임, 총 쿼리 수, 적응성 측면에서 FAST를 어느 정도 뛰어넘는가?

주요 결과

• LS+PGB는 O(n) 기대 쿼리 복잡도, O(log n) 적응성, 그리고 고확률로 거의 1−1/e에 가까운 근사 비율을 달성하며, 최상의 이론적 한계를 충족한다.
• LinearSeq 구성요소는 O(log(n/k))의 적응성 복잡도를 달성하며, 이는 기존 문헌에서 어떤 알고리즘보다 낮은 수준이다.
• 실험 평가에서 LS+PGB는 모든 지표에서 FAST를 뛰어넘었다: MaxCover와 TwitterSumm에서 각각 최대 6% 높은 목적 함수 값을 달성했으며, MaxCover와 TwitterSumm에서 쿼리 수가 50% 미만으로 줄었고, 평균적으로 런타임도 절반 미만으로 감소했다.
• TwitterSumm 응용 분야에서 LS+PGB는 FAST보다 4배 이상 빠르며, 스레드 수를 1~64로 늘릴 때 평균 10배의 속도 향상을 보였다.
• MaxCover와 TwitterSumm에서 더 큰 k 값에 대해 LS+PGB는 FAST 대비 적응적 라운드 수를 50% 이상 줄였으며, 이는 뛰어난 병렬 처리 가능성을 보여준다.
• Fahrbach 등이 제안한 BinarySearchMaximization와 비교해 LS+PGB는 약 10배 적은 쿼리 수를 사용했고, 유사한 수준의 빠른 속도를 기록했다. 이는 양자 모두 강력한 이론적 보장을 갖추고 있음에도 불구하고 성능 격차가 크다는 것을 의미한다.