[논문 리뷰] Access to Data and Number of Iterations: Dual Primal Algorithms for Maximum Matching under Resource Constraints

Kook Jin Ahn, Sudipto Guha|arXiv (Cornell University)|2013. 07. 16.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 17

한 줄 요약

이 논문은 하위선형 공간과 제한된 데이터 액세스 조건 하에서, O(p/ε)의 적응형 스케치 라운드와 O(n^{1+1/p})의 중앙집중식 공간을 사용하여, 하위선형 공간에서 (1−ε)-근사 가중 비이분할 최대 매칭을 계산하기 위한 이중-일반 알고리즘을 제시한다. 선형 스케치와 느슨한 Dantzig-Wolfe 분해, 보상 기반 선형 근사화를 결합하여 반복적 의존도를 줄이고, 지도-레듀스 유사 모델에서 효율적인 구현과 증명 가능한 근사 보장을 가능하게 한다.

ABSTRACT

In this paper we consider graph algorithms in models of computation where the space usage (random accessible storage, in addition to the read only input) is sublinear in the number of edges $m$ and the access to input data is constrained. These questions arises in many natural settings, and in particular in the analysis of MapReduce or similar algorithms that model constrained parallelism with sublinear central processing. In SPAA 2011, Lattanzi etal. provided a $O(1)$ approximation of maximum matching using $O(p)$ rounds of iterative filtering via mapreduce and $O(n^{1+1/p})$ space of central processing for a graph with $n$ nodes and $m$ edges. We focus on weighted nonbipartite maximum matching in this paper. For any constant $p>1$, we provide an iterative sampling based algorithm for computing a $(1-ε)$-approximation of the weighted nonbipartite maximum matching that uses $O(p/ε)$ rounds of sampling, and $O(n^{1+1/p})$ space. The results extends to $b$-Matching with small changes. This paper combines adaptive sketching literature and fast primal-dual algorithms based on relaxed Dantzig-Wolfe decision procedures. Each round of sampling is implemented through linear sketches and executed in a single round of MapReduce. The paper also proves that nonstandard linear relaxations of a problem, in particular penalty based formulations, are helpful in mapreduce and similar settings in reducing the adaptive dependence of the iterations.

연구 동기 및 목표

• 제한된 데이터 액세스 조건 하에서, 지도-레듀스 스타일 모델에 특화된 하위선형 공간 알고리즘을 설계한다.
• 전체 그래프를 중앙 메모리에 저장하지 않고도 최대 매칭의 (1−ε)-근사를 달성한다.
• 비표준 보상 기반 선형 근사화를 도입하여, 반복적 알고리즘의 적응형 의존도를 줄인다.
• 선형 스케치를 활용해 각 반복에서 단일 지도-레듀스 라운드로 효율적으로 구현할 수 있도록 한다.
• 알고리즘의 구조에 최소한의 수정으로 b-매칭으로의 확장을 가능하게 한다.

제안 방법

• 다중 라운드에 걸쳐 적응형 스케치를 사용하여, 각 라운드에서 선형 스케치를 통해 엣지를 샘플링함으로써 그래프의 희소 표현을 유지한다.
• 이중 문제를 단순한 부분문제로 줄이기 위해 느슨한 Dantzig-Wolfe 분해를 적용하여 효율적인 원-이중 갱신을 가능하게 한다.
• 제약 조건 수를 줄이고 반복적 의존도의 깊이를 제한하기 위해 보상 기반 선형 근사화를 도입한다.
• 최소한의 홀수 컷 근사 및 Gomory-Hu 트리 구축을 이용한 이산화된 홀수 집합 탐지 절차를 통해 조밀한 홀수 집합을 식별한다.
• 각 반복에서 엣지에 대해 단일 패assing을 수행하며, O(nε⁻²)의 공간과 O(m + n·poly(ε⁻¹, log n))의 시간을 사용해 이중 및 원측 추정치를 유지한다.
• 모든 b-노름이 큰 홀수 집합은 이전에 선택된 집합과 교차하거나, 작은 매칭 값을 가짐을 보장하여 오차를 유한하게 유지한다.

실험 결과

연구 질문

• RQ1 하위선형 공간과 O(p/ε)의 적응형 라운드 조건 하에서, (1−ε)-근사 해를 얻을 수 있는 가중 비이분할 매칭 알고리즘이 존재하는가?
• RQ2 지도-레듀스 모델에서 데이터 액세스 및 공간 제약 조건 하에서 반복적 알고리즘을 분석하고 최적화할 수 있는가?
• RQ3 비표준 선형 근사화, 예를 들어 보상 형식의 방법이 원-이중 방법에서 적응형 반복 수를 줄일 수 있는가?
• RQ4 제약 조건이 있는 모델에서 고정밀 매칭을 달성하기 위해, 라운드 수와 공간 사용량 사이의 상호 교환 관계는 어떠한가?
• RQ5 알고리즘의 구조에 최소한의 수정으로 b-매칭으로의 확장을 가능하게 할 수 있는가?

주요 결과

• 이 알고리즘은 임의의 상수 p>1과 ε>0에 대해 O(p/ε)의 적응형 스케치 라운드와 O(n^{1+1/p})의 중앙집중식 공간을 사용하여, 가중 비이분할 최대 매칭에 대해 (1−ε)-근사를 달성한다.
• 홀수 집합의 크기를 제한함으로써, 선형 프로그래밍 근사화의 제약 조건 수를 2ⁿ에서 n^{O(1/ε)}로 줄여 문제의 해석 가능성을 확보한다.
• 보상 기반 근사화와 선형 스케치를 활용함으로써 반복 간의 적응형 의존도를 제한하여, 각 라운드를 단일 지도-레듀스 단계로 효율적으로 구현할 수 있다.
• 모든 b-노름이 4/ε를 초과하는 홀수 집합은 최소한 1의 총 이중 초과를 가지며, 이는 오차를 유한하게 유지하고 수렴을 보장하는 데 기여한다.
• b-매칭으로의 확장은 구조적 수정을 최소한으로 하되, 동일한 渐近적 라운드 수와 공간 복잡도를 유지한다.
• 분석 결과, 선형 프로그래밍의 폭 매개변수는 근본적인 장벽이며, 기존의 원-이중 방법은 Ω(ρε⁻² log M)회의 반복이 필요하지만, 이 작업은 스케칭과 근사화를 통해 이를 피한다.