[논문 리뷰] Parallel Algorithm for Non-Monotone DR-Submodular Maximization

Alina Ene, Huy L. Nguyên|OpenBU (Boston University)|2019. 05. 30.

Complexity and Algorithms in Graphs참고 문헌 16인용 수 7

한 줄 요약

이 논문은 기수 제약 조건 하에서 비단조화 DR-하위모듈러 함수를 최대화하기 위한 새로운 병렬 알고리즘을 제안한다. 이 알고리즘은 $1/e - \epsilon$ 근사값을 $O(\log n \log(1/\epsilon)/\epsilon^3)$ 병렬 라운드 내에 달성한다. 방법은 적응형 임계값 설정과 기울기 기반 업데이트를 결합하여 반복 횟수를 줄이며, 기존에 알려진 최고의 순차적 근사 보장을 유지한다.

ABSTRACT

In this work, we give a new parallel algorithm for the problem of maximizing a non-monotone diminishing returns submodular function subject to a cardinality constraint. For any desired accuracy $ε$, our algorithm achieves a $1/e - ε$ approximation using $O(\log{n} \log(1/ε) / ε^3)$ parallel rounds of function evaluations. The approximation guarantee nearly matches the best approximation guarantee known for the problem in the sequential setting and the number of parallel rounds is nearly-optimal for any constant $ε$. Previous algorithms achieve worse approximation guarantees using $Ω(\log^2{n})$ parallel rounds. Our experimental evaluation suggests that our algorithm obtains solutions whose objective value nearly matches the value obtained by the state of the art sequential algorithms, and it outperforms previous parallel algorithms in number of parallel rounds, iterations, and solution quality.

연구 동기 및 목표

• 기수 제약 조건 하에서 비단조화 DR-하위모듈러 최대화에 대한 효율적인 병렬 알고리즘이 부족한 문제를 해결하기 위해.
• 기존 연구에 비해 더 적은 병렬 라운드를 달성하면서도 강력한 근사 보장을 유지하기 위해.
• 병렬 환경에서 기존에 알려진 최고의 순차적 근사 비율인 $1/e - \epsilon$ 을 달성하기 위해.
• 기존 병렬 알고리즘에 비해 해의 품질을 향상시키고 반복 횟수를 줄이기 위해.
• 특성 선택 및 MAP 추론과 같은 시간 소모가 큰 응용 분야에서 확장 가능한 최적화를 가능하게 하기 위해.

제안 방법

• 활성 변수 집합의 크기를 제어하기 위해 적응형 임계값 설정을 사용하는 다단계 접근 방식을 사용한다.
• 각 라운드에서 함수 값과 기울기의 오라클 액세스를 활용하여 기울기 기반 업데이트를 적용한다.
• 상수 인자(0.75)를 사용하여 $1 - \epsilon$ 가 아닌 임계값을 동적으로 조정함으로써 반복 횟수를 줄인다.
• 해 벡터 $\vec{z}$ 를 유지하고, 경계 이득과 제약 조건에 따라 병렬 라운드 기반으로 업데이트한다.
• 각 단계에서 활성 집합 크기를 상수 인자로 감소시켜 로그 단위의 반복 횟수 상한을 확보한다.
• 각 라운드당 다항식 수준의 함수 평가를 허용함으로써 높은 병렬성을 확보하고 적응성의 최소화를 달성한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 더 적은 병렬 라운드로 비단조화 DR-하위모듈러 최대화에 대해 $1/e - \epsilon$ 근사값을 달성할 수 있는 병렬 알고리즘이 존재하는가?
• RQ2 적응성의 감소가 DR-하위모듈러 최적화에서 해의 품질과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 근사 보장을 유지하면서도 $1 - \epsilon$ 업데이트를 대체할 수 있는 상수 인자 기반의 임계값 업데이트 규칙을 적용할 수 있는가?
• RQ4 비단조화 DR-하위모듈러 최대화에서 병렬 라운드와 해의 품질 사이의 상충 관계는 어떠한가?
• RQ5 실제로 제안된 알고리즘은 최신 순차적 및 병렬 알고리즘과 비교하여 어떻게 성능을 발휘하는가?

주요 결과

• 기수 제약 조건 하에서 비단조화 DR-하위모듈러 최대화에 대해 $1/e - \epsilon$ 근사 보장을 달성한다.
• 병렬 라운드 수는 $O(\log n \log(1/\epsilon)/\epsilon^3)$ 로, 이전의 $O(\log^2 n / \epsilon^2)$ bound 대비 거의 제곱근 수준의 향상이다.
• 상수 $\epsilon$ 에 대해 라운드 수는 $O(\log n)$ 으로 거의 최적이며, 이론적 하한에 가까워진다.
• 실험 결과, 알고리즘은 순차적 연속 그레디언트 기반 베이스라인 대비 해 값의 95~98%를 달성했으며, 이는 이전의 병렬 방법보다 뛰어난 성능을 보였다.
• 최신 병렬 승법 가중치 업데이트 알고리즘 대비 적응 평가 횟수를 크게 줄여 계산 비용을 감소시켰다.
• 강력한 임계값 업데이트($v \leftarrow 0.75v$)를 적용한 구현은 근사 품질을 유지하면서도 반복 횟수를 $O(\log n \log(1/\epsilon)/\epsilon^2)$ 로 줄였다.