[논문 리뷰] The FAST Algorithm for Submodular Maximization

Adam Breuer, Eric Balkanski외 1명|arXiv (Cornell University)|2019. 07. 14.

Complexity and Algorithms in Graphs참고 문헌 27인용 수 11

한 줄 요약

이 논문은 기수 제약 조건 하에서 단조 감소하는 부분모듈러 최대화를 위한 새로운 병렬 알고리즘인 Fast를 소개한다. 이 알고리즘은 $1-1/e$에 임의로 가까운 근사 비율을 달성하며, $\mathcal{O}(\log n \log^2 \log k)$의 적응성과 $\mathcal{O}(n \log \log k)$의 총 질의 수를 확보한다. 알고리즘은 실제 적용에서 기존 방법들보다 훨씬 뛰어나며, 대규모 데이터셋에서 질의 횟수와 런타임을 수개의 주기로 감소시키면서도 효율적인 적응형 샘플링과 델타 추측 히우리스틱을 통해 강력한 이론적 보장을 유지한다.

ABSTRACT

In this paper we describe a new algorithm called Fast Adaptive Sequencing Technique (FAST) for maximizing a monotone submodular function under a cardinality constraint $k$ whose approximation ratio is arbitrarily close to $1-1/e$, is $O(\log(n) \log^2(\log k))$ adaptive, and uses a total of $O(n \log\log(k))$ queries. Recent algorithms have comparable guarantees in terms of asymptotic worst case analysis, but their actual number of rounds and query complexity depend on very large constants and polynomials in terms of precision and confidence, making them impractical for large data sets. Our main contribution is a design that is extremely efficient both in terms of its non-asymptotic worst case query complexity and number of rounds, and in terms of its practical runtime. We show that this algorithm outperforms any algorithm for submodular maximization we are aware of, including hyper-optimized parallel versions of state-of-the-art serial algorithms, by running experiments on large data sets. These experiments show FAST is orders of magnitude faster than the state-of-the-art.

연구 동기 및 목표

• 이론적으로 효율적인 서브모듈러 최대화 알고리즘과 실무에서의 비효율성 사이의 격차를 해결하기 위해, 점근적 분석에서 큰 상수와 다항식 의존성으로 인해 성능이 저하되는 문제를 해결한다.
• 강력한 이론적 보장을 유지하면서도 비점근적 질의 복잡도와 라운드 수를 극도로 줄인 실용적이고 빠른 병렬 알고리즘을 설계한다.
• 대규모 데이터 세트에서 기존 최신 기술 알고리즘—초기 최적화된 순차 및 병렬 변종—을 뛰어넘는 런타임과 질의 효율성을 확보한다.
• 기계 학습 및 데이터 마이닝 분야에서 서브모듈러 최적화의 실세계 적용을 가능하게 하기 위해, 솔루션 품질을 희생시키지 않고 계산 오버헤드를 최소화한다.

제안 방법

• 알고리즘은 최적 값 $\delta$에 대해 $n$개의 균일하게 배치된 추측값을 사용하는 새로운 델타 추측 전략을 포함한 적응형 샘플링을 적용하여, 다중선형 확장 질의 수를 감소시킨다.
• 병렬 처리를 위한 빠른 아키텍처를 사용하여 여러 프로세서가 동시에 경계 기여도를 평가할 수 있으며, 성공했을 때만 비용이 발생하는 레이지 업데이트를 통해 실패 시 런타임에 영향을 주지 않는다.
• 반복 과정에서 임계값 $\delta$를 동적으로 조정하여, 실행 가능할 경우에만 증가시켜 수렴 속도를 높이면서도 솔루션 품질을 유지한다.
• 두 단계 접근 방식을 활용한다: 첫 번째로 $k$개의 최고 단일 요소 값의 합을 사용해 OPT에 대한 날카운 상한을 추정하고, 두 번째로 이 상한을 기반으로 효율적인 샘플링과 선택을 유도한다.
• 적응형 샘플링과 $\delta$ 추측에 대해 $1/n$ 크기의 비균일한 큰 스텝 사이즈를 조합하여 반복 횟수를 줄이고, 과도한 작은 값 검사 방지를 통해 라운드 수와 총 질의 수를 최소화한다.
• 기본적인 스트로스틱 그레디와 비교하기 위해, 느린 경우가 없도록 최적화된 병렬 LTLG(Parallel-LTLG)의 고유한 병렬 구현을 벤치마크로 사용한다.

실험 결과

연구 질문

• RQ1 실제로 최신 이론적 알고리즘보다 훨씬 적은 질의와 라운드 수로 $1-1/e$에 근접한 근사 비율을 달성할 수 있는 서브모듈러 최대화 알고리즘이 존재하는가?
• RQ2 적응형 샘플링과 임계값 설정 기법을 어떻게 최적화할 수 있는가? 병렬 서브모듈러 최적화에서 이론적·실무적 오버헤드를 줄일 수 있는가?
• RQ3 스텝 사이즈와 같은 히우리스틱 선택(예: $\delta$-추측에 대한 스텝 사이즈)이 솔루션 품질을 떨어뜨리지 않고 런타임을 얼마나 향상시킬 수 있는가?
• RQ4 레이지 업데이트가 실패하더라도 항상 기준 방법보다 빠른 성능을 보장할 수 있도록 병렬 알고리즘을 설계할 수 있는가?
• RQ5 실제 대규모 데이터 세트에서 Fast의 성능은 이론적 알고리즘과 기존 최신 기술의 고도로 최적화된 실행 구현과 비교해 어떻게 나타나는가?

주요 결과

• Fast는 $\mathcal{O}(\log n \log^2 \log k)$의 적응성과 $\mathcal{O}(n \log \log k)$의 총 질의 수로 $1-1/e$에 임의로 가까운 근사 비율을 달성하며, 비점근적 측면에서 이전 이론적 한계를 크게 향상시켰다.
• Watts-Strogatz 그래프($n=500$)에서의 실험에서 Fast는 0.051초 만에 완료되었으며, Amortized-Filtering(0.58초), Randomized-Parallel-Greedy(1.36초), Exhaustive-Maximization(55.14초)를 모두 압도했다.
• Fast는 질의 수가 2,497회 뿐이었고, Amortized-Filtering는 35,471회, Exhaustive-Maximization는 4,845,205회를 기록하여 질의 복잡도의 극적인 감소를 입증했다.
• 라운드 수는 단 18회로, Amortized-Filtering의 540회, Exhaustive-Maximization의 12,806회보다 크게 감소하여 병렬 적응성의 효율성을 입증했다.
• 실험 세트 2에서 Fast는 8번의 실험 중 7번에서 순차적 LTLG보다 더 적은 질의 수를 사용했으며, 런타임이 유사한 경우에도 더 높은 병렬성 덕분에 더 빠르게 작동했다.
• $1/n$ 간격의 $\delta$-추측 사용은 반복 횟수를 줄이고 과도한 작은 값 검사를 방지하여 기하급수적 간격 대비 10배의 속도 향상을 이끌었으며, 실용적 성능 향상에 기여했다.