[논문 리뷰] Non-monotone Submodular Maximization in Exponentially Fewer Iterations

Eric Balkanski, Adam Breuer외 1명|ArXiv.org|2018. 07. 30.

Complexity and Algorithms in Graphs인용 수 18

한 줄 요약

이 논문은 기수 제약 조건 하에서 비단조화 서브모듈러 최대화를 위한 새로운 알고리즘인 Blits를 소개한다. Blits는 $1/2e$에 임의로 가까운 근사 비율을 달성하며, $\tilde{O}(\text{log}^2 n)$의 적응 라운드 내에서 수행된다. 기민한 정제 후 낮은 확률로 요소 블록을 반복적으로 추가함으로써, 이전 방법들에 비해 병렬 실행 시간에서 지수적 속도 향상을 달성하면서도 경쟁 가능한 실증 성능을 유지한다.

ABSTRACT

In this paper we consider parallelization for applications whose objective can be expressed as maximizing a non-monotone submodular function under a cardinality constraint. Our main result is an algorithm whose approximation is arbitrarily close to $1/2e$ in $O(\log^2 n)$ adaptive rounds, where $n$ is the size of the ground set. This is an exponential speedup in parallel running time over any previously studied algorithm for constrained non-monotone submodular maximization. Beyond its provable guarantees, the algorithm performs well in practice. Specifically, experiments on traffic monitoring and personalized data summarization applications show that the algorithm finds solutions whose values are competitive with state-of-the-art algorithms while running in exponentially fewer parallel iterations.

연구 동기 및 목표

• 기수 제약 조건 하에서 비단조화 서브모듈러 최대화에 대한 저적응성 알고리즘이 부족한 문제를 해결한다.
• 기존의 상수 근사 비율 알고리즘들이 $k$에 비례하는 높은 적응성(선형)을 가지며 병렬 확장성에 제약을 줌을 극복한다.
• 이를 바탕으로 이론적 근사 보장은 유지하면서도 필요한 순차적 라운드 수를 크게 줄이는 방법을 설계한다.
• 낮은 적응성 알고리즘이 약한 최악의 경우 근사 비율을 가질지라도 실생활에서 경쟁 가능한 성능을 보일 수 있음을 입증한다.
• 데이터 요약 및 네트워크 수익 최적화와 같은 응용 분야에서 대규모 서브모듈러 최적화의 효율적 병렬 처리를 가능하게 한다.

제안 방법

• 크기 $k/r$의 블록을 샘플링하고 경계 기여도를 평가하는 방식으로 적응 라운드를 수행하는 Blits 알고리즘을 제안한다.
• 각 라운드에서, 부정 기여가 목적 함수에 지배당하지 않도록 낮은 확률로 요소를 해답 집합에 추가한다.
• 후보 블록을 구성하기 전에 부정적인 경계 기여를 가진 요소를 제거하기 위해 공격적인 정제를 수행한다.
• 임계값을 적용한 경계 기여도에 기반해 점진적으로 업데이트되는 해답 집합 $S$를 유지함으로써 안정성과 수렴성을 확보한다.
• 각 블록에서 무작위로 선택하는 대신 가장 높은 경계 기여도를 가진 요소를 선택하는 히우리스틱 변형인 Blits+를 도입한다. 이는 실증 성능을 향상시킨다.
• 이론적 분석을 통해 Blits가 $\tilde{O}(\text{log}^2 n)$의 적응 라운드 내에서 $1/2e$에 임의로 가까운 근사 비율을 달성함을 보였다.

실험 결과

연구 질문

• RQ1 기존 알고리즘들이 $k$에 비례하는 라운드를 요구하는 것과는 달리, $k$보다 훨씬 적은 적응 라운드를 요구하면서도 상수 근사 비율을 유지할 수 있는 비단조화 서브모듈러 최대화 알고리즘을 설계할 수 있는가?
• RQ2 해답 품질을 희생시키지 않고도 비단조화 서브모듈러 최대화 문제에서 병렬 실행 시간을 지수적으로 단축시킬 수 있는가?
• RQ3 실제 응용 분야인 이미지 요약 및 추천 시스템에서 저적응성은 실증 성능에 어떤 영향을 미치는가?
• RQ4 최악의 경우 근사 비율이 약한 알고리즘도 실제로 최신 기술 수준의 방법과 경쟁하거나 승리할 수 있는가?
• RQ5 적응 서브모듈러 최적화에서 이론적 근사 보장과 실용적 효율성 사이의 상호 교환 관계는 무엇인가?

주요 결과

• Blits는 $\tilde{O}(\text{log}^2 n)$의 적응 라운드 내에서 $1/2e$에 임의로 가까운 근사 비율을 달성하며, 이는 이전 알고리즘이 $\tilde{O}(k)$의 라운드가 필요한 것에 비해 지수적 향상이다.
• RandomGreedy의 $1/e$ 근사 비율보다 이론적으로는 열등하지만, 다양한 데이터셋에서 Blits와 Blits+는 RandomGreedy 및 P-Fantom을 일관되게 뛰어나거나 동등하게 성능을 내며 승리한다.
• 이미지 요약, 영화 추천, 수익 최적화 실험에서 Blits는 P-Fantom 및 RandomGreedy와 같은 최신 기술 수준의 알고리즘과 비교해 유사하거나 뛰어난 해답 값을 확보했다.
• Blits는 목표 크기 $k$의 약 10~15%만으로도 고성능 해답을 도출했으며, 이는 알고리즘이 조기에 부정 기여 요소를 효과적으로 정제함을 시사한다. 만약 $|S| = k$까지 실행할 수 있다면 더 나은 성능을 낼 수 있었을 것이다.
• 실제로는 이론적으로 필요한 것보다 훨씬 적은 샘플 수(라운드당 약 30개)로도 뛰어난 성능을 달성했으며, 이는 샘플 복잡도에 대해 뛰어난 내구성을 지닌다는 것을 시사한다.
• 히우리스틱 변형인 Blits+는 각 블록에서 가장 높은 경계 기여도를 가진 요소를 선택함으로써 실증적으로 약간 더 뛰어난 성능을 보였지만, 공식적인 근사 보장은 없다.