[논문 리뷰] Randomized Composable Core-sets for Distributed Submodular Maximization

Vahab Mirrokni, Morteza Zadimoghaddam|arXiv (Cornell University)|2015. 06. 22.

Complexity and Algorithms in Graphs참고 문헌 18인용 수 10

한 줄 요약

이 논문은 분산 서브모odูล러 최적화를 위한 랜덤화된 구성 가능한 코어셋을 소개한다. 데이터는 기계들 간에 랜덤하게 분할되고, 각 기계에서 그레디 알고리즘이 코어셋을 구성한다. 순수한 서브모듈러 함수에 대해 카디널리티 제약 조건 하에서 1/3-근사값을 달성하며, 비랜덤화된 코어셋의 경우 Ω(log k / √k)의 불가능성 한계를 크게 초월한다. 또한 총 통신 복잡도가 O(n)인 2라운드 MapReduce 알고리즘으로서 최초로 상수 요소 근사값을 제공한다.

ABSTRACT

An effective technique for solving optimization problems over massive data sets is to partition the data into smaller pieces, solve the problem on each piece and compute a representative solution from it, and finally obtain a solution inside the union of the representative solutions for all pieces. This technique can be captured via the concept of {\em composable core-sets}, and has been recently applied to solve diversity maximization problems as well as several clustering problems. However, for coverage and submodular maximization problems, impossibility bounds are known for this technique \cite{IMMM14}. In this paper, we focus on efficient construction of a randomized variant of composable core-sets where the above idea is applied on a {\em random clustering} of the data. We employ this technique for the coverage, monotone and non-monotone submodular maximization problems. Our results significantly improve upon the hardness results for non-randomized core-sets, and imply improved results for submodular maximization in a distributed and streaming settings. In summary, we show that a simple greedy algorithm results in a $1/3$-approximate randomized composable core-set for submodular maximization under a cardinality constraint. This is in contrast to a known $O({\log k\over \sqrt{k}})$ impossibility result for (non-randomized) composable core-set. Our result also extends to non-monotone submodular functions, and leads to the first 2-round MapReduce-based constant-factor approximation algorithm with $O(n)$ total communication complexity for either monotone or non-monotone functions. Finally, using an improved analysis technique and a new algorithm $\mathsf{PseudoGreedy}$, we present an improved $0.545$-approximation algorithm for monotone submodular maximization, which is in turn the first MapReduce-based algorithm beating factor $1/2$ in a constant number of rounds.

연구 동기 및 목표

• 카디널리티 제약 조건 하에서 서브모듈러 최적화에 대해 비랜덤화된 구성 가능한 코어셋의 알려진 불가능성 한계를 극복하기 위해.
• 소수의 라운드 내에서 상수 요소 근사값을 달성하는 효율적인 분산 알고리즘을 설계하기 위해.
• 기계 학습에서 널리 사용되는 경험적 기법인 랜덤 클러스터링과 그레디 코어셋 구성의 이론적 기반을 제공하기 위해.
• 모노톤 및 비모노톤 서브모듈러 함수 모두에 대해 이론적 접근을 확장하여 MapReduce 및 스트리밍 환경에서 개선된 근사값을 달성하기 위해.

제안 방법

• 기본 집합을 m개의 클러스터로 랜덤하게 분할하고, 각 요소를 C개의 랜덤으로 선택된 기계들에 할당하여 다중성 C를 가진 랜덤 클러스터링을 형성한다.
• 각 기계에서 로컬 데이터로부터 그레디 알고리즘을 적용하여 가장 높은 마진 기여도를 가진 항목들을 선택함으로써 코어셋 S'ℓ를 구성한다.
• 랜덤 샘플링 단계를 도입: 각 기계는 자신의 코어셋 S'ℓ에서 크기가 k'인 랜덤 부분집합을 출력하여 통신량을 줄이고 커버리지 보장을 확보한다.
• 랜덤 클러스터링과 샘플링으로 인한 최적 해의 손실를 제한함으로써 출력 집합의 합집합의 기대값을 분석한다.
• 서브모듈러성과 감소 수익 성질을 활용하여 마진 기여도와 코어셋 품질에 대한 농도 한계를 유도한다.
• MapReduce 환경에서 모노톤 서브모듈러 최적화에 대해 0.545-근사값을 달성하는 데 개선된 새로운 알고리즘인 PseudoGreedy를 도입한다.

실험 결과

연구 질문

• RQ1 랜덤화된 구성 가능한 코어셋은 서브모듈러 최적화에서 비랜덤화된 코어셋의 Ω(log k / √k) 불가능성 한계를 극복할 수 있는가?
• RQ2 O(n)의 총 통신 복잡도를 가진 2라운드 MapReduce 모델에서 랜덤화된 구성 가능한 코어셋을 사용할 경우 어떤 근사값을 달성할 수 있는가?
• RQ3 랜덤화된 구성 가능한 코어셋 프레임워크는 비모노톤 서브모듈러 함수로 확장 가능하며, 상수 요소 근사값을 유지할 수 있는가?
• RQ4 랜덤 클러스터링의 다중성 C를 증가시키면 달성 가능한 근사값 요소에 어떤 영향을 미치는가?
• RQ5 반복적 또는 향상된 코어셋 구성 기법을 사용하여 모노톤 서브모듈러 최적화에서 MapReduce 환경에서 1/2 근사값 장벽을 뛰어넘을 수 있는가?

주요 결과

• 논문은 랜덤화된 구성 가능한 코어셋에 대한 단순한 그레디 알고리즘을 사용하여 카디널리티 제약 조건 하에서 모노톤 서브모듈러 최적화에 대해 1/3-근사값을 달성한다.
• 논문은 최초로 총 통신 복잡도가 O(n)인 2라운드 MapReduce 알고리즘을 제안하며, 모노톤 및 비모노톤 서브모듈러 함수 모두에 대해 상수 요소 근사값을 달성한다.
• 모노톤 서브모듈러 최적화의 경우 개선된 PseudoGreedy 알고리즘이 0.545-근사값을 달성하여 상수 수의 라운드 내에서 1/2 장벽을 돌파한다.
• 분석 결과, 출력 코어셋의 합집합의 기대값은 Ω(√(k'/k) · f(OPT))이며, k'를 적절히 선택할 경우 상수 요소 근사값을 도출할 수 있다.
• 랜덤화된 구성 가능한 코어셋 프레임워크는 기계 학습에서 랜덤 클러스터링과 그레디 선택을 사용하는 경험적으로 성공한 기법들에 대한 이론적 근거를 제공한다.
• 이 접근법은 매트로이드 제약 조건과 같은 더 일반적인 포장 제약 조건으로도 확장 가능하여, 카디널리티 제약 조건을 초월한 광범위한 적용 가능성을 시사한다.