[논문 리뷰] Distributed Submodular Maximization

Baharan Mirzasoleiman, Amin Karbasi외 2명|arXiv (Cornell University)|2014. 11. 03.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 3

한 줄 요약

이 논문은 지도-환원 환경에서 확장 가능하고 거의 최적의 해를 제공하는 분산 알고리즘인 GreeDi를 제안한다. 데이터를 분할하고, 증명 가능하고 근사 보장을 갖춘 이중 단계의 탐욕 유사 프로세스를 적용하여, 예시 클러스터링과 희소 가우시안 프로세스에서 수천만 개의 점을 포함한 대규모 데이터셋에서 중심 집합 탐욕 알고리즘의 98% 성능를 달성한다.

ABSTRACT

Many large-scale machine learning problems--clustering, non-parametric learning, kernel machines, etc.--require selecting a small yet representative subset from a large dataset. Such problems can often be reduced to maximizing a submodular set function subject to various constraints. Classical approaches to submodular optimization require centralized access to the full dataset, which is impractical for truly large-scale problems. In this paper, we consider the problem of submodular function maximization in a distributed fashion. We develop a simple, two-stage protocol GreeDi, that is easily implemented using MapReduce style computations. We theoretically analyze our approach, and show that under certain natural conditions, performance close to the centralized approach can be achieved. We begin with monotone submodular maximization subject to a cardinality constraint, and then extend this approach to obtain approximation guarantees for (not necessarily monotone) submodular maximization subject to more general constraints including matroid or knapsack constraints. In our extensive experiments, we demonstrate the effectiveness of our approach on several applications, including sparse Gaussian process inference and exemplar based clustering on tens of millions of examples using Hadoop.

연구 동기 및 목표

• 기계학습에서 거대한 데이터셋에 대한 중심 집합 서브모듈러 최적화의 확장성 한계를 해결한다.
• 기수, 매트로이드, 배낭 제약 조건 하에서 강력한 이론적 근사 보장을 유지하는 분산 알고리즘을 개발한다.
• 실제 응용 분야인 예시 클러스터링과 활성 집합 선택과 같은 실세계 응용을 위해 Hadoop 및 MapReduce 스타일 시스템에서의 실용적 구현을 가능하게 한다.
• 이론적 분석을 통해 GreeDi가 자연스러운 데이터 분할 및 이웃 조건 하에서 중심 집합 탐욕 알고리즘에 가까운 성능을 달성함을 보여준다.
• 수천만 개의 점을 포함하는 데이터셋에서 실증적으로 효과적인 성능를 입증하며, 통신을 최소화하면서 거의 최적의 결과를 도출한다.

제안 방법

• 병렬 처리를 가능하게 하기 위해 랜덤 할당을 사용해 데이터셋을 m개의 상호배타적 부분집합으로 분할한다.
• 각 부분집합에 대해 블랙박스 서브모듈러 최적화 알고리즘을 독립적으로 적용하여 국지적 해를 계산한다.
• 이중 단계 프rotocol을 사용한다: 첫 번째로 각 머신에서 국지적 해를 계산하고, 두 번째로 전역 근사 전략을 사용해 결과를 통합하고 개선한다.
• 국지적 치환 가능성과 이웃 조밀도 개념을 활용하여, 부분집합 내 타당한 해가 전역 최적해에 가까워지도록 보장한다.
• 이웃의 크기와 제약 조건 하에서 해의 타당성에 대한 확률적 경계를 사용해 근사 보장을 증명한다.
• 샘플링과 분할 기법을 통해 비단조화 서브모듈러 함수 및 매트로이드와 배낭 제약 조건과 같은 일반적인 제약 조건을 다룰 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 기수 제약 조건 하에서 중심 집합 서브모듈러 최적화에 비해 경쟁 가능한 근사 보장을 갖춘 분산 알고리즘이 가능할 수 있는가?
• RQ2 이론적 성능 보장의 손실 없이 MapReduce 환경에서 서브모듈러 최적화를 효과적으로 병렬화할 수 있는가?
• RQ3 데이터 분할 및 이웃 구조에 어떤 조건이 성립해야 국지적 해가 전역 최적해에 가까워지는가?
• RQ4 이 방법은 비단조화 서브모듈러 함수 및 매트로이드와 배낭 제약 조건과 같은 복잡한 제약 조건으로 확장 가능할 수 있는가?
• RQ5 실세계 기계학습 작업에서 거대한 데이터셋을 다룰 때 알고리즘이 실제로 얼마나 잘 확장되는가?

주요 결과

• 예시 기반 클러스터링에서 수천만 개의 점을 포함하는 데이터셋에서 GreeDi는 중심 집합 탐욕 알고리즘의 목표 값의 98%를 달성한다.
• 희소 가우시안 프로세스의 활성 집합 선택에서, 이 방법은 중심 집합 해 품질의 97%를 달성한다.
• 그래프 컷 찾기 작업에서는 알고리즘이 최적값의 90%를 달성하여 다양한 응용 분야에서의 강건성을 입증한다.
• 이론적 분석을 통해 국지적 치환 가능성과 충분한 이웃 조밀도 조건 하에서 알고리즘이 일정 요소 근사 보장을 유지함을 증명한다.
• 랜덤 데이터 분할에 대해서도 알고리즘의 성능이 강인하며, 적어도 하나의 부분집합이 최적해에 가까운 해를 포함할 가능성이 높다.
• 알고리즘은 데이터 크기와 함께 효율적으로 확장되며, 통신을 최소화하여 Hadoop과 같은 대규모 분산 시스템에 적합하다.