[논문 리뷰] Distributed Coverage Maximization via Sketching

MohammadHossein Bateni, Hossein Esfandiari외 1명|arXiv (Cornell University)|2016. 12. 07.

Complexity and Algorithms in Graphs참고 문헌 27인용 수 6

한 줄 요약

이 논문은 지름내림 기반 스케치 기법을 사용하여 커버리지 최적화를 위한 분산 알고리즘을 제안한다. 이 기법은 단지 네 번의 통신 라운드로 최적의 근사 보장을 달성한다 (k-커버의 경우 1−1/e, λ-아웃라이어 커버 세트의 경우 log(1/λ)) 하며, 기저 집합 크기와 무관한 부분선형 공간 복잡도와 근사 최적의 통신량을 확보한다. 이 방법은 대규모 특징 선택을 효율적으로 가능하게 하며, 이론적·실제로 이전 작업을 능가하며, 입력 데이터보다 30~600배 작아도 near-state-of-the-art 수준의 성능을 달성한다.

ABSTRACT

Coverage problems are central in optimization and have a wide range of applications in data mining and machine learning. While several distributed algorithms have been developed for coverage problems, the existing methods suffer from several limitations, e.g., they all achieve either suboptimal approximation guarantees or suboptimal space and memory complexities. In addition, previous algorithms developed for submodular maximization assume oracle access, and ignore the computational complexity of communicating large subsets or computing the size of the union of the subsets in this subfamily. In this paper, we develop an improved distributed algorithm for the $k$-cover and the set cover with $λ$ outliers problems, with almost optimal approximation guarantees, almost optimal memory complexity, and linear communication complexity running in only four rounds of computation. Finally, we perform an extensive empirical study of our algorithms on a number of publicly available real data sets, and show that using sketches of size $30$ to $600$ times smaller than the input, one can solve the coverage maximization problem with quality very close to that of the state-of-the-art single-machine algorithm.

연구 동기 및 목표

• 기존 분산 서브모듈러스 최적화 알고리즘의 한계를 해결한다. 이는 커버리지 문제에서 높은 통신량, 열악한 공간 복잡도, 또는 부분 최적의 근사 보장 등이 포함된다.
• k-커버 및 λ 아웃라이어가 있는 커버 세트 문제를 위한 분산 알고리즘을 개발한다. 이 알고리즘은 최적의 근사 비율을 달성하면서도 라운드 수와 공간 사용을 최소화한다.
• 대규모 데이터셋에서 값 오라클 액세스의 비효율성을 극복하기 위해, 전체 부분집합을 머신 간에 전송하지 않는 스케치 기반 방법을 도입한다.
• MapReduce 및 RAM 모델에서의 실용적 구현을 가능하게 하여, 막대한 수의 원소와 기저 집합을 포함하는 실제 워크로드를 지원한다.
• 대규모 특징 선택에의 적용 가능성을 입증한다. 이는 최소한의 스케치 크기로 높은 품질의 결과를 도출한다.

제안 방법

• 전체 집합 전송이 필요 없이 커버리지 함수의 효율적 분산 계산을 가능하게 하는 적응형 샘플링 및 스케치 기법을 제안한다.
• 입력 집합의 랜덤라이즈드 스케치를 사용하여 유니언 크기를 추정함으로써, 공간 복잡도와 통신 복잡도를 감소시키면서도 근사 보장을 유지한다.
• 스케치 구축, 로컬 계산, 글로벌 집계를 결합한 네 라운드 분산 알고리즘을 설계하여 근사 최적의 해를 계산한다.
• 스케일이 가능한 데이터 처리를 위해 MapReduce 및 RAM 모델 모두에 알고리즘을 구현하였으며, 랜덤 액세스 및 분산 해시 테이블을 지원한다.
• 스케치 및 근사 메커니즘의 적응형 변형을 통해 가중 커버리지 및 지배 집합 문제에 프레임워크를 확장한다.
• 특징 쌍을 원소로, 특징을 집합으로 모델링하여 스케치 기반 접근을 효율적인 특징 선택에 활용한다.

실험 결과

연구 질문

• RQ1 k-커버 및 λ 아웃라이어가 있는 커버 세트 문제를 위한 분산 알고리즘을 설계할 수 있는가? 이 알고리즘은 통신 및 공간 복잡도를 최소화하면서도 최적의 근사 비율을 달성할 수 있는가?
• RQ2 비용이 많이 드는 값 오라클 액세스를 대체할 수 있는 스케치 기반 방법을 도입하여, 대규모 부분집합을 머신 간에 전송하지 않을 수 있는가?
• RQ3 이전의 로그 라운드 알고리즘과 달리, 단지 네 번의 통신 라운드로도 적응형 스케치 기법이 근사 최적의 성능을 달성할 수 있는가?
• RQ4 대규모 데이터셋에서 솔루션 품질을 근사 최적의 단일 머신 그레디언트 알고리즘 수준으로 유지하면서도 스케치는 얼마나 작아질 수 있는가?
• RQ5 제안된 스케치 프레임워크는 고차원 데이터를 포함한 실제 특징 선택 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 알고리즘은 k-커버의 경우 최적의 근사 비율 1−1/e, λ-아웃라이어 커버 세트의 경우 log(1/λ)를 달성하며, 이는 이론적 상한선과 정확히 일치한다.
• 입력 크기의 0.1%에서 10% 사이의 스케치로도 실세계 데이터셋인 livej-2 및 planted-A에서 단일 머신 그레디언트 알고리즘의 96~99.9%의 품질을 달성한다.
• livej-2 데이터셋에서 0.8% 스케치 피드백으로 10% 샘플과 거의 동일한 품질을 달성하였으며, 0.3% 피드백에서 1% 손실만을 기록하였다.
• news20 데이터셋에서의 특징 선택 작업에서, k=2500인 경우 91.2%의 예측 정확도를 달성하였으며, 이는 이전의 분산 방법을 능가하고 최신 기술 수준의 결과와 동일하거나 초월하였다.
• 알고리즘은 단지 네 번의 통신 라운드로 실행되어, 이전의 로그 라운드 접근 방식보다 지연을 크게 감소시켰다.
• 공간 복잡도는 O(n), 통신 복잡도는 Õ(n)이며, 이는 기저 집합 크기 m과 무관하여, 매우 큰 원소를 포함한 데이터셋에 대한 확장성 확보에 기여한다.